[논문 리뷰] Alternating Minimization for Mixed Linear Regression

Xinyang Yi, Constantine Caramanis외 1명|arXiv (Cornell University)|2013. 10. 14.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 78

한 줄 요약

이 논문은 데이터 행렬의 주요 두 고유벡터를 기반으로 하는 새로운 스펙트럼 초기화를 도입하여 혼합 선형 회귀 문제에 대해 증명 가능하게 수렴하는 교대 최소화 알고리즘을 제안한다. 이러한 초기화를 통해 EM 기반 알고리즘이 오직 $ O(k\log^2 k) $개의 샘플만으로도 진짜 회귀 벡터로 지수적으로 수렴하며, 로그 인자들을 제외한 최적의 샘플 복잡도를 달성하고, 이 설정에서 EM에 대한 첫 이론적 보장을 제공한다.

ABSTRACT

Mixed linear regression involves the recovery of two (or more) unknown vectors from unlabeled linear measurements; that is, where each sample comes from exactly one of the vectors, but we do not know which one. It is a classic problem, and the natural and empirically most popular approach to its solution has been the EM algorithm. As in other settings, this is prone to bad local minima; however, each iteration is very fast (alternating between guessing labels, and solving with those labels). In this paper we provide a new initialization procedure for EM, based on finding the leading two eigenvectors of an appropriate matrix. We then show that with this, a re-sampled version of the EM algorithm provably converges to the correct vectors, under natural assumptions on the sampling distribution, and with nearly optimal (unimprovable) sample complexity. This provides not only the first characterization of EM's performance, but also much lower sample complexity as compared to both standard (randomly initialized) EM, and other methods for this problem.

연구 동기 및 목표

• EM 알고리즘이 실용적으로 널리 사용되지만 국소 최솟값에 갇히기 쉬운 혼합 선형 회귀에서 EM에 대한 이론적 보장을 부족하게 만드는 문제를 해결하기 위해.
• EM이 전역 최적해로 수렴하도록 보장하는 증명 가능하게 올바른 초기화 방법을 개발하기 위해.
• 비라벨 선형 측정값에서 두 개의 알려지지 않은 회귀 벡터를 복원하기 위한 거의 최적의 샘플 복잡도를 달성하기 위해.
• 혼합 선형 회귀 맥락에서 EM 알고리즘에 대한 첫 분석 성능 경계를 설정하기 위해.

제안 방법

• 데이터로부터 구성된 행렬의 주요 두 고유벡터를 계산하는 스펙트럼 초기화를 제안하여 진짜 회귀 벡터의 좋은 초기 추정치를 확보한다.
• 이 초기화를 바탕으로 재표본화된 EM 알고리즘을 구동하며, 레이블 할당과 회귀 계수 갱신을 번갈아 수행한다.
• 집중 불등식과 난수 행렬 이론을 적용하여 각 EM 반복에서의 오차를 경계하고, 지수 수렴을 보여준다.
• 정확하게 레이블이 지정된 샘플과 잘못 지정된 샘플로 구성된 부분행렬의 최소 특이값에 대한 경계를 유도하여 추정 오차를 통제한다.
• Hoeffding의 부등식과 표준 집중 결과를 사용하여 각 반복에서 정확한 및 잘못된 레이블 할당의 수를 통제한다.
• 약한 가정 하에 오차가 각 반복에서 최소한 반으로 줄어들며, 이는 진짜 벡터로의 지수 수렴으로 이어진다.

실험 결과

연구 질문

• RQ1 혼합 선형 회귀에서 EM이 전역 최적해로 증명 가능하게 수렴하도록 할 수 있는 스펙트럼 초기화를 설계할 수 있는가?
• RQ2 이 초기화를 사용한 EM이 진짜 회귀 벡터를 높은 확률로 복원하기 위해 필요한 최소 샘플 수는 얼마인가?
• RQ3 제안된 방법은 기존 방법들과 비교해 최적 또는 거의 최적의 샘플 복잡도를 달성하는가?
• RQ4 혼합 선형 회귀에서 EM에 대한 이론적 성능 보장을 수립할 수 있는가? 이는 이전에 분석이 부족했던 분야였다.

주요 결과

• 제안된 스펙트럼 초기화 덕분에 자연스러운 샘플링 가정 하에 EM 알고리즘이 진짜 회귀 벡터로 지수적으로 수렴한다.
• 알고리즘은 $ O(k\log^2 k) $개의 샘플로 정확한 복원을 달성하며, 차원 $ k $ 에 대해 로그 인자들을 제외한 최적의 복잡도를 확보한다.
• 표준 EM 및 기타 기존 방법보다 샘플 복잡도가 크게 낮으며, 이는 더 많은 샘플이 필요하거나 이론적 보장이 없는 경우에 비해 유리하다.
• 추정된 회귀 벡터의 오차는 각 EM 반복에서 최소한 반으로 감소함을 입증하여 지수 수렴을 보였다.
• 이론적 분석을 통해 노이즈가 없는 설정에서 높은 확률로 진짜 값을 정확히 복원할 수 있음을 확인했다.
• 이 방법은 혼합 선형 회귀에서 EM에 대한 첫 분석 성능 특성화를 제공하며, 오랫동안 미해결이었던 열린 문제를 해결한다.