[논문 리뷰] The Information Bottleneck EM Algorithm

Gal Elidan, Nir Friedman|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 31

한 줄 요약

이 논문은 정보 복제 원리 기반의 새로운 접근법인 정보 봉쇄 기반 기대값 최대화(Information Bottleneck EM, IB-EM) 알고리즘을 소개한다. 이 알고리즘은 은닉 변수의 정보량을 최소화하면서도 관측된 특성에 대해 최대한의 정보를 제공하도록, 두 가지 정보 이론적 목표 간의 트레이드오프를 최적화함으로써 은닉 변수를 가진 확률적 그래픽 모델을 학습한다. 기존의 표준 EM 알고리즘과 비교해 국소 최적해에 갇히는 것을 방지하고, 이 트레이드오프를 반복적으로 개선함으로써 더 높은 점수의 해에 수렴한다.

ABSTRACT

Learning with hidden variables is a central challenge in probabilistic graphical models that has important implications for many real-life problems. The classical approach is using the Expectation Maximization (EM) algorithm. This algorithm, however, can get trapped in local maxima. In this paper we explore a new approach that is based on the Information Bottleneck principle. In this approach, we view the learning problem as a tradeoff between two information theoretic objectives. The first is to make the hidden variables uninformative about the identity of specific instances. The second is to make the hidden variables informative about the observed attributes. By exploring different tradeoffs between these two objectives, we can gradually converge on a high-scoring solution. As we show, the resulting, Information Bottleneck Expectation Maximization (IB-EM) algorithm, manages to find solutions that are superior to standard EM methods.

연구 동기 및 목표

• 은닉 변수 학습 과정에서 국소 최대값에 갇히는 표준 EM 알고리즘의 한계를 해결하기 위해.
• 은닉 변수 모델 최적화를 이끄는 정보 이론 원리를 통합한 새로운 학습 프레임워크를 개발하기 위해.
• 은닉 변수가 개별 인스턴스의 신원에 대해 정보를 갖지 않도록 하고, 관측된 특성에 대해 정보를 갖도록 하는 두 가지 상충하는 목표를 균형 잡기 위해.
• 이러한 목표들 간의 트레이드오프를 반복적으로 탐색함으로써 학습된 모델의 품질을 향상시키기 위해.
• 결과적으로 도출된 IB-EM 알고리즘이 고전적 EM 방법보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• IB-EM 알고리즘은 은닉 변수와 인스턴스 식별자 간의 상호정보량을 최소화하고, 은닉 변수와 관측된 특성 간의 상호정보량을 최대화하는 두 가지 정보 이론적 목표 간의 트레이드오프로 학습 문제를 설정한다.
• 이러한 목표들을 하나의 최적화 기준으로 통합하기 위해 라그랑주 승수를 도입하며, 이는 트레이드오프 계수로 파arameter화된다.
• 알고리즘은 기대값(E-step)과 최대화(M-step) 단계를 반복적으로 적용한다. E단계는 현재 모델 하에서 사후 분포를 계산하고, M단계는 IB 목표를 최적화하도록 모델 파라미터를 갱신한다.
• 해의 공간을 탐색하고 열악한 국소 최적해를 회피하기 위해 반복 과정 동안 트레이드오프 계수를 점진적으로 조정한다.
• 은닉 변수가 데이터의 가장 관련 있는 구조만을 포착하도록 보장하기 위해 정보 봉쇄 원리를 학습 과정에 통합한다.
• 정보 이론적 제약 조건을 파rameter 갱신 과정에 통합한 수정된 EM 프레임워크를 사용해 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 정보 봉쇄 원리는 EM 프레임워크에 효과적으로 통합될 수 있는가?
• RQ2 은닉 변수 모델에서 IB-EM 알고리즘은 표준 EM보다 국소 최대값에 갇히는 것을 더 효과적으로 피할 수 있는가?
• RQ3 재현성과 정보성 간의 트레이드오프는 더 높은 품질의 모델 솔루션을 이끌 수 있는가?
• RQ4 트레이드오프 계수의 반복적 조정은 수렴성과 해 품질에 어떤 영향을 미치는가?
• RQ5 기본 학습 작업에서 IB-EM의 실증적 성능은 고전적 EM과 비교해 어떠한가?

주요 결과

• IB-EM 알고리즘은 일반적으로 표준 EM이 갇히는 국소 최적해를 효과적으로 회피하여 더 높은 점수의 해에 도달한다.
• 재현성 최소화와 정보성 최대화 간의 트레이드오프를 최적화함으로써, IB-EM는 표준 EM보다 더 높은 모델 가능도를 달성한다.
• 정보 봉쇄 원리 기반의 트레이드오프를 통해 해의 공간을 체계적으로 탐색함으로써 수렴 행동이 향상됨을 입증하였다.
• UAI 2003 회의에서의 실증 결과에 따르면, IB-EM는 은닉 변수가 있는 다양한 학습 과제에서 표준 EM을 일관되게 능가한다.
• 특히 초기화가 불량하거나 가능도 곡면이 복잡한 상황에서 표준 EM이 높은 품질의 해를 찾지 못할 때 IB-EM의 성능이 두드러지게 뛰어나다.
• EM 프레임워크에 정보 이론 원리를 통합함으로써 은닉 변수 학습에 대해 체계적이고 효과적인 대안을 제공한다.