[논문 리뷰] A Sober Look at Spectral Learning

Han Zhao, Pascal Poupart|arXiv (Cornell University)|2014. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 7

한 줄 요약

이 논문은 HMM과 같은 잠재변수 모델에 대한 스펙트럴 학습(SL)을 철저히 평가하며, 강력한 이론적 일致성 보장에도 불구하고 실무에서는 랭크 오차정의와 부족한 데이터로 인해 SL가 빈번히 음수 확률을 생성한다는 점을 드러낸다. 놀랍게도 EM은 종종 SL를 능가하며, 식별 가능한 모델에서는 일관성 있을 수 있음을 시사하며, 국소 최적해로 인해 EM이 본질적으로 일관성이 없다는 가정을 도전한다.

ABSTRACT

Spectral learning recently generated lots of excitement in machine learning, largely because it is the first known method to produce consistent estimates (under suitable conditions) for several latent variable models. In contrast, maximum likelihood estimates may get trapped in local optima due to the non-convex nature of the likelihood function of latent variable models. In this paper, we do an empirical evaluation of spectral learning (SL) and expectation maximization (EM), which reveals an important gap between the theory and the practice. First, SL often leads to negative probabilities. Second, EM often yields better estimates than spectral learning and it does not seem to get stuck in local optima. We discuss how the rank of the model parameters and the amount of training data can yield negative probabilities. We also question the common belief that maximum likelihood estimators are necessarily inconsistent.

연구 동기 및 목표

• 잠재변수 모델, 특히 HMM에서 스펙트럴 학습(SL)과 기대최대화(EM)를 실증적으로 평가하기.
• SL에서 음수 확률이 발생하는 근본 원인을 모델 랭크와 학습 데이터 크기와 관련하여 조사하기.
• 최대우도 추정기(예: EM)가 국소 최적해로 인해 반드시 일관성이 없을 것이라는 일반적인 믿음을 도전하기.
• SL와 EM 간의 데이터 효율성과 목적함수 품질을 비교하기.
• 비음수성 모델에서 비록 우도 함수가 비볼록이지만 EM이 일관성 있을 수 있는지 조사하기.

제안 방법

• 다양한 데이터 크기와 모델 랭크를 가진 합성 HMM에서 SL(LearnHMM를 통해)와 EM을 실증적으로 평가하기.
• 단일값 분해(SVD)와 텐서 분해를 사용하여 저순서 경험모멘트(P1, P2,1, P3,x,1)를 추정하기.
• 2개 상태와 2개 관측값을 가진 단일 파rameter HMM을 구성하여 우도 함수를 해석적으로 계산하고 그 형태를 시각화하기.
• 혼합 딜레트 분포로 비정규화된 우도 곡선을 계산하여 다모드성과 수렴 행동 분석하기.
• 다양한 무작위 재시작을 통한 EM 결과 비교를 통해 일관성과 국소 최적해 영향 평가하기.
• 해석적 우도 계산을 사용하여 EM 해가 진짜 우도를 초과하는지 확인하여 과적합 또는 일관성 여부 검증하기.

실험 결과

연구 질문

• RQ1 이론적으로 일관성이 보장되지만 실무에서는 왜 스펙트럴 학습이 자주 음수 확률을 생성하는가?
• RQ2 모델 랭크와 학습 데이터 크기는 스펙트럴 학습에서 음수 확률 발생에 어떤 영향을 미치는가?
• RQ3 국소 최적해에 취약한데도 EM이 스펙트럴 학습을 능가할 수 있는가?
• RQ4 비음수성 이산 잠재변수 모델에서 비록 우도 함수가 비볼록이지만 EM은 일관성 있을 수 있는가?
• RQ5 우도 함수가 비볼록이고 다모드일 때도 EM이 왜 자주 고우도 해를 찾는가?

주요 결과

• 스펙트럴 학습은 잘못된 모델 랭크나 부족한 학습 데이터로 인해 자주 음수 확률을 생성하여 실용적 사용성에 심각한 영향을 미친다.
• EM은 이론적 일관성 보장이 없음에도 불구하고 우도와 예측 정확도 측면에서 스펙트럴 학습을 일관되게 능가한다.
• 식별 가능한 모델에서 데이터가 증가함에 따라 우도 함수는 단모드가 되며, 이는 실무에서 EM이 열악한 국소 최적해를 피할 수 있는 이유를 설명한다.
• EM 해는 종종 진짜 매개변수의 우도를 초과하는 경향이 있는데, 이는 과적합을 의미하지만 일관성은 아니며, 이는 식별 가능한 설정에서 EM이 일관성 있을 수 있음을 시사한다.
• EM은 데이터의 모든 경험모멘트를 활용하여 SL보다 더 높은 데이터 효율성을 보이며, SL는 저순서 모멘트에만 의존한다.
• 논문은 EM이 본질적으로 일관성이 없다는 가정을 도전하며, 식별 가능한 모델에서 동일한 해에 수렴할 수 있음을 보여준다.