[논문 리뷰] Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization

Xinyang Yi, Constantine Caramanis외 1명|arXiv (Cornell University)|2016. 08. 19.

Markov Chains and Monte Carlo Methods참고 문헌 2인용 수 37

한 줄 요약

이 논문은 k개의 성분을 가진 혼합된 랜덤 선형 방정식을 해결하기 위해 텐서 분해와 교대 최소화를 조합한 이단계 알고리즘을 제안한다. 이는 차원 p에 대해 선형이고 k에 대해 다항식적인 표본 복잡도로 정확한 복원을 달성한다. 초기화 단계로 텐서 분해를 사용할 경우 교대 최소화의 전역 수렴을 보장하며, 일반적인 k에 대해 최적의 표본 복잡도를 갖는 첫 번째 증명 가능하게 효율적인 해법을 제공한다.

ABSTRACT

We consider the problem of solving mixed random linear equations with $k$ components. This is the noiseless setting of mixed linear regression. The goal is to estimate multiple linear models from mixed samples in the case where the labels (which sample corresponds to which model) are not observed. We give a tractable algorithm for the mixed linear equation problem, and show that under some technical conditions, our algorithm is guaranteed to solve the problem exactly with sample complexity linear in the dimension, and polynomial in $k$, the number of components. Previous approaches have required either exponential dependence on $k$, or super-linear dependence on the dimension. The proposed algorithm is a combination of tensor decomposition and alternating minimization. Our analysis involves proving that the initialization provided by the tensor method allows alternating minimization, which is equivalent to EM in our setting, to converge to the global optimum at a linear rate.

연구 동기 및 목표

• 성분의 신뢰도(라벨)가 관측되지 않는 혼합된 표본에서 다수의 선형 모델을 추정하는 문제에 대응하기 위해.
• 랜덤 공변수 설계 하에서 k개 성분을 가진 혼합 선형 방정식에 대해 다루기 쉬운 알고리즘을 개발하여, 이전 방법들이 k나 차원에 대해 지수적 또는 초선형적 의존성을 보였던 한계를 극복하기 위해.
• 텐서 분해를 통한 초기화와 교대 최소화를 통한 정밀화를 조합하여 정확한 복원에 대한 이론적 보장을 수립하기 위해.
• 텐서 방법에 의해 진짜 매개변수에 가까운 초기화를 받을 경우, 교대 최소화가 전역 최적해로 선형 수렴함을 증명하기 위해.

제안 방법

• 알고리즘은 데이터로부터 생성된 새로운 제3차 모멘트 텐서를 사용하여 텐서 분해를 통해 성분 매개변수를 추정하고, 진짜 매개변수에 가까운 초기 추정치를 제공한다.
• 공변수(x_i ~ N(0, I_p))의 가우시안 설계를 활용하여 모멘트가 잘 조절되어 있고 분해에 적합함을 보장한다.
• 교대 최소화는 구조적 잠재 변수를 가진 비볼록 최적화 문제로 간주하여 초기 추정치를 정밀화하는 데 적용된다.
• 분석 결과, 교대 최소화는 진짜 해에 상대 오차가 일정 범위 이내로 초기화된 경우 전역 최적해로 선형 수렴함을 입증한다.
• 텐서 분해 단계는 ɛ-근접 추정을 O(1/ɛ²)개의 표본으로 달성할 수 있으며, 이는 두 번째 단계에서의 수렴을 가능하게 한다.
• 이론적 보장은 잠재 성분의 구조에 의해 정의된 조건부 사건들 하에서의 농도 불등식과 하위가우시안 尾 확률 경계에 기반한다.

실험 결과

연구 질문

• RQ1 일반적인 k ≥ 2에 대해 계산적으로 효율적인 알고리즘이 정확한 복원과 최적의 표본 복잡도를 갖는 혼합 선형 방정식 문제를 해결할 수 있는가?
• RQ2 텐서 분해를 통해 초기화된 경우, 교대 최소화가 진짜 매개변수로 전역 수렴하는가?
• RQ3 k개 성분과 랜덤 공변수를 가진 노이즈 없는 혼합 선형 회귀 모델에서 정확한 복원을 위해 필요한 최소 표본 복잡도는 무엇인가?
• RQ4 EM 및 기울기 기반 방법과 비교할 때, 제안된 방법은 수렴성과 표본 효율성 측면에서 어떻게 다른가?
• RQ5 텐서 분해는 고차원 혼합 모델에서 비볼록 최적화의 선형 수렴을 가능하게 하는 강력한 초기화를 제공할 수 있는가?

주요 결과

• 제안된 알고리즘은 Õ(k¹⁰p)개의 표본을 사용하여 높은 확률로 정확한 복원을 달성한다. 이는 차원 p에 대해 선형이고 k에 대해 다항식적인 복잡도를 가지며, 이전 방법들에 비해 상당한 향상이다.
• 표본 복잡도는 거의 최적이며, p에 대한 선형 의존성 이외에 로그 인자만 초과하며, k에 대해서는 다항식 의존성이다.
• 텐서 분해는 O(1/ɛ²)개의 표본으로 ɛ-근접 초기화를 달성하여 이후 교대 최소화의 수렴을 가능하게 한다.
• 진짜 매개변수에 상대 오차가 일정 범위 이내로 초기화된 경우, 교대 최소화는 전역 최적해로 선형 수렴한다.
• 이 방법은 k ≥ 3에 대해 혼합 선형 회귀에서 교대 최소화의 전역 수렴 보장을 증명한 최초의 방법이다.
• 분석 결과, 알고리즘이 가우시안 공변수 하에서 강건하며, 조건부 하위가우시안 성질을 통해 강력한 농도 경계를 제공함을 입증하였다.