[논문 리뷰] A Tutorial on the Expectation-Maximization Algorithm Including Maximum-Likelihood Estimation and EM Training of Probabilistic Context-Free Grammars

Detlef Prescher|ArXiv.org|2004. 12. 03.

Natural Language Processing Techniques참고 문헌 22인용 수 23

한 줄 요약

이 튜토리얼은 확률적 문맥 자유 문법(PCA)에서 최대우도 추정을 위한 기대최대화(EM) 알고리즘을 제시하며, 주석이 달린 트리뱅크 데이터로부터 문법 재추정에의 응용을 보여준다. 이 방법은 반복적으로 PCFG 규칙 확률을 향상시켜 훈련 데이터의 우도가 최대화되는 안정된 모델로 수렴하며, 결과적으로 모호한 대안 대비 문법적으로 타당한 분석을 강하게 선호하는 것으로 나타났다.

ABSTRACT

The paper gives a brief review of the expectation-maximization algorithm (Dempster 1977) in the comprehensible framework of discrete mathematics. In Section 2, two prominent estimation methods, the relative-frequency estimation and the maximum-likelihood estimation are presented. Section 3 is dedicated to the expectation-maximization algorithm and a simpler variant, the generalized expectation-maximization algorithm. In Section 4, two loaded dice are rolled. A more interesting example is presented in Section 5: The estimation of probabilistic context-free grammars.

연구 동기 및 목표

• 이산 수학을 기반으로 한 명확하고 수학적으로 탄탄한 EM 알고리즘 튜토리얼을 제공하기 위해.
• 최대우도 추정이 확률적 모델에서 통계적 추론의 일반적 프레임워크로서의 역할을 보여주기 위해.
• 트리뱅크 데이터로부터 확률적 문맥 자유 문법(PCFG)의 훈련에 EM 알고리즘을 적용하기 위해.
• EM 알고리즘이 관측된 문법적 구조의 우도를 최대화하기 위해 반복적으로 PCFG 규칙 확률을 향상시키는 방식을 보여주기 위해.
• EM으로 학습된 PCFG의 성능을 정량적 비교를 통해 문법적 모호성 해결 능력 측면에서 평가하기 위해.

제안 방법

• EM 알고리즘은 잠재변수가 있는 모델에서 우도를 최대화하기 위한 반복적 방법으로서, E단계(기대)와 M단계(최대화)로 구성된다.
• 기준선으로 상대 빈도 추정을 사용하며, 이는 $ \tilde{p}(x) = f(x)/|f| $ 로 정의되며, 여기서 $ f $ 는 코퍼스이고 $ |f| $ 는 그 크기이다.
• 최대우도 추정은 주어진 모델 하에서 관측된 데이터의 우도를 최대화하는 파라미터 집합을 찾는 것으로 수식화된다.
• PCFG의 경우, EM 알고리즘은 현재 확률 추정치를 사용하여 E단계에서 규칙 적용의 기대 빈도를 계산한다.
• M단계에서는 기대 빈도의 비율을 총 기대 규칙 적용 수로 나누어 새로운 규칙 확률을 재추정한다.
• 알고리즘은 수렴할 때까지 반복되며, 예시에서는 19회 반복 후 확률이 안정화되었다.

실험 결과

연구 질문

• RQ1 EM 알고리즘이 확률적 문맥 자유 문법에서 파라미터를 추정하는 데 체계적으로 어떻게 적용될 수 있는가?
• RQ2 EM의 맥락에서 상대 빈도 추정과 최대우도 추정 간의 관계는 무엇인가?
• RQ3 EM 알고리즘이 반복적으로 PCFG 파라미터 추정을 향상시키는 방식은 어떠한가?
• RQ4 모호한 문장에서 EM 재추정이 한 문법적 분석을 다른 분석보다 얼마나 강하게 선호하는가?
• RQ5 EM 알고리즘은 PCFG 훈련에서 어떤 수렴 행동을 보이며, 언제 종료될 수 있는가?

주요 결과

• 19회 반복 후 EM 알고리즘이 수렴하여 규칙 확률에 변화가 더 이상 없었으며, 이는 안정된 최대우도 추정치에 도달했음을 나타낸다.
• EM로 추정한 PCFG $ p_{18} $ 는 선호되는 분석(VP → V NP 및 NP → NP PP)에 대해 확률 0.315를 부여한 반면, 대안 분석(VP → V NP PP)에는 단지 0.033를 부여했다.
• 선호되는 분석의 우도는 初기 추정치 $ p_0 $ 에서의 0.125에서 $ p_{18} $ 에서의 0.315로 단조적으로 증가했고, 경쟁 분석의 우도는 0.500에서 0.033으로 감소했다.
• EM 알고리즘은 문법적으로 더 타당한 구조를 선호하도록 PCFG 규칙 확률을 성공적으로 재추정하여, 올바른 분석에 대한 선호도가 증가하는 것으로 확인되었다.
• E단계는 현재 확률에 기반해 기대 규칙 빈도를 계산하고, M단계는 정규화된 기대 빈도로 확률을 재추정하여 우도 목표와 일관성을 확보한다.
• 최종 PCFG $ p_{18} $ 는 올바른 문법적 분석이 모호한 대안들보다 강하게 선호되는 안정적이고 높은 우도 구성에 도달했다.