[논문 리뷰] Provable Tensor Methods for Learning Mixtures of Classifiers.

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|2014. 12. 09.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 입력의 고차수 점수 함수 특징을 활용하여 혼합 분류기 학습을 위한 증명 가능하게 일致하는 텐서 분해 방법을 제안한다. 레이블과 이러한 점수 함수 간의 교차모멘트 텐서를 구성함으로써, 약한 비퇴화 조건 하에서 혼합 성분의 복원을 보장하며, 이는 특징 학습이 연관 혼합 모델에서 일致한 추정을 가능하게 한다는 것을 입증한다.

ABSTRACT

We consider the problem of learning associative mixtures for classification and regression problems, where the output is modeled as a mixture of conditional distributions, conditioned on the input. In contrast to approaches such as expectation maximization (EM) or variational Bayes, which can get stuck in bad local optima, we present a tensor decomposition method which is guaranteed to correctly recover the parameters. The key insight is to learn score function features of the input, and employ them in a moment-based approach for learning associative mixtures. Specifically, we construct the cross-moment tensor between the label and higher order score functions of the input. We establish that the decomposition of this tensor consistently recovers the components of the associative mixture under some simple non-degeneracy assumptions. Thus, we establish that feature learning is the critical ingredient for consistent estimation of associative mixtures using tensor decomposition approaches.

연구 동기 및 목표

• 기존의 EM 및 변분 베이즈와 같은 전통적 방법의 국소 최적해 문제를 해결하기 위해.
• 분류 및 회귀 과제에서 혼합 성분의 일관된 복원을 보장하는 방법을 개발하기 위해.
• 특히 점수 함수 특징이 텐서 분해를 통한 일관된 추정을 가능하게 하는 데서 특징 학습의 역할을 규명하기 위해.
• 제안된 텐서 기반 접근법이 진짜 혼합 성분을 성공적으로 복원할 수 있는 이론적 조건을 설정하기 위해.

제안 방법

• 입력 특징의 고차수 점수 함수와 레이블 간의 교차모멘트 텐서를 구성하기 위해.
• 모멘트 기반 텐서 분해를 사용하여 연관 혼합 모델의 매개변수를 추정하기 위해.
• 식별성과 일관성을 향상시키기 위해 입력 분포에서 유도된 점수 함수 특징을 활용하기 위해.
• 교차모멘트 텐서의 다중선형 구조를 활용하여 개별 혼합 성분을 분리하고 복원하기 위해.
• 구성된 텐서에 캐논리컬 폴리아드(CP) 분해와 같은 텐서 분해 기법을 적용하여 성분 복원하기 위해.
• 혼합 성분과 점수 함수에 대한 약한 비퇴화 가정 하에서 매개변수 복원의 일관성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 EM이나 변분 베이즈와 같은 방법이 국소 최적해에 갇히는 것을 방지하면서, 텐서 기반 방법이 연관 혼합 모델의 매개변수를 일관되게 복원할 수 있는가?
• RQ2 입력의 고차수 점수 함수 특징이 텐서 분해를 통한 일관된 추정을 가능하게 하는 데서 어떤 역할을 하는가?
• RQ3 레이블과 점수 함수 간의 교차모멘트 텐서가 혼합 성분의 정확한 복원을 가능하게 하는 조건은 무엇인가?
• RQ4 수렴성과 식별성 측면에서, 제안된 방법은 EM 또는 변분 베이즈에 비해 이론적으로 어떤 보장을 제공하는가?

주요 결과

• 약한 비퇴화 조건 하에서 제안된 텐서 방법은 연관 혼합 모델의 매개변수를 일관되게 복원함을 보장한다.
• 텐서 기반 혼합 학습에서 일관된 추정을 달성하기 위해 점수 함수 표현을 통한 특징 학습이 필수적이다.
• 레이블과 고차수 점수 함수 간의 교차모멘트 텐서는 혼합 성분을 식별하는 데 충분한 다중선형 구조를 캡처한다.
• 반복 최적화가 아닌 대수적 분해에 의존함으로써, EM 및 변분 베이즈에 내재된 국소 최적해 문제를 피한다.
• 이론적 분석을 통해 모델이 식별 가능할 경우 구성된 텐서의 분해가 유일하게 혼합 성분을 복원함을 확인한다.
• 조건부 분포의 혼합 학습에서 히وري스틱 최적화 방법에 대한 증명 가능한 대안을 제공한다.