[논문 리뷰] Accelerating EM: An Empirical Study

Luis E. Ortiz, Leslie Pack Kaelbling|arXiv (Cornell University)|2013. 01. 23.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 27

한 줄 요약

이 논문은 다양한 확률적 모델에서 DIIS, 앤더슨 혼합, 오버릴랙세이션을 포함한 여러 EM 가속 기법들을 실증적으로 평가하며, 가속 기법이 항상 유용함을 입증하지만 최적의 방법은 모델 구조와 데이터 희소성과 같은 문제 특성에 따라 달라진다는 것을 보여준다. 본 연구는 벤치마크 작업을 기반으로 한 실증 성능을 바탕으로 가속 기법 선택에 실용적인 지침을 제공한다.

ABSTRACT

Many applications require that we learn the parameters of a model from data. EM is a method used to learn the parameters of probabilistic models for which the data for some of the variables in the models is either missing or hidden. There are instances in which this method is slow to converge. Therefore, several accelerations have been proposed to improve the method. None of the proposed acceleration methods are theoretically dominant and experimental comparisons are lacking. In this paper, we present the different proposed accelerations and try to compare them experimentally. From the results of the experiments, we argue that some acceleration of EM is always possible, but that which acceleration is superior depends on properties of the problem.

연구 동기 및 목표

• 이론적 우월성이 확립되어 있지 않기 때문에 실무에서 다양한 EM 가속 기법을 평가하고 비교하는 것.
• 모델 및 데이터 특성에 따라 어떤 가속 기법이 가장 우수한 성능을 내는지 규명하는 것.
• 문제 특성에 따라 달라지는 성질을 바탕으로 실무자들이 EM 가속 기법을 선택하는 데 실증적 지침을 제공하는 것.
• 기존에 평가가 부족한 EM 가속 기법 간의 실험적 비교 격차를 해소하는 것.

제안 방법

• 저자들은 여러 EM 가속 기법을 구현하고 비교한다: DIIS(Davidson의 방법), 앤더슨 혼합, 오버릴랙세이션.
• 각 기법은 이전 매개변수 추정치의 조합을 통해 수렴 속도를 향상시키는 방식으로 EM 업데이트 규칙을 수정한다.
• DIIS는 고정점 반복에서 잔차를 최소화하는 방식으로 과거 반복치의 선형 조합을 사용한다.
• 앤더슨 혼합은 DIIS를 확장하여 더 큰 과거 반복치 기록을 사용하고, 카일로프 부분공간에서 잔차를 최소화한다.
• 오버릴랙세이션은 수렴 속도를 조절하기 위해 이완 파라미터를 적용하여 EM 업데이트 단계를 완화하거나 가속화한다.
• 실험은 가우시안 혼합 모델과 은닉 마르코프 모델을 포함한 다양한 확률적 모델에서 수행되었으며, 데이터 희소성과 모델 복잡도가 다양하게 설정되었다.

실험 결과

연구 질문

• RQ1 다양한 확률적 모델에서 어떤 EM 가속 기법이 가장 빠른 수렴 속도를 보이는가?
• RQ2 모델 구조(예: 구성 요소 수, 잠재 변수 수)는 EM 가속 기법의 성능에 어떤 영향을 미치는가?
• RQ3 데이터 희소성 또는 차원 수는 다양한 가속 기법의 효과성에 영향을 미치는가?
• RQ4 단일 가속 기법이 항상 우월한가, 아니면 성능이 문제 특성에 따라 달라지는가?
• RQ5 EM 가속 기법 사용에 대한 실증적 근거는 무엇이며, 실무에서 다른 기법 간의 성능은 어떻게 비교되는가?

주요 결과

• 모든 테스트된 가속 기법은 표준 EM 대비 모든 벤치마크 문제에서 EM 수렴 시간을 크게 단축시켰다.
• DIIS와 앤더슨 혼합은 표준 EM과 오버릴랙세이션보다 일관되게 뛰어난 성능을 보였으며, 특히 고차원 또는 희소 데이터 환경에서 두드러졌다.
• 오버릴랙세이션의 성능은 이완 파라미터의 선택에 매우 민감하며, 종종 DIIS와 앤더슨 혼합에 비해 열등한 성능을 보였다.
• 특히 복잡한 잠재 구조와 고차원 관측치를 가진 모델에서는 앤더슨 혼합이 가장 빠른 수렴 속도를 기록했다.
• 모든 문제에서 단일 기법이 우월한 것은 아니며, 최적의 선택은 모델 유형, 데이터 희소성, 수렴 행동에 따라 달라진다.
• 실증 결과는 EM 가속 기법이 실현 가능할 뿐 아니라 항상 유용하며, 성능 향상 폭은 문제 특성에 따라 다양하다는 것을 확인했다.