[논문 리뷰] Learning Mixtures of Linear Regressions with Nearly Optimal Complexity

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|2018. 02. 22.

Machine Learning and Algorithms참고 문헌 17인용 수 10

한 줄 요약

이 논문은 서로 다른 공분산 행렬을 가진 일반적인 가우시안 설정 하에서 혼합 선형 회귀 모델을 학습하기 위한 고정 매개변수 다항식 시간 알고리즘을 제안한다. 이 알고리즘은 거의 최적의 표본 복잡도 $\tilde{O}(d)$ 와 계산 복잡도 $\tilde{O}(Nd)$ 를 달성하며, 해를 점진적으로 개선하기 위해 새로운 '모멘트 강하 방법(method of moments descent)'을 사용하여, 동일한 공분산이나 강력한 분포 가정 없이도 전역 수렴을 보장한다.

ABSTRACT

Mixtures of Linear Regressions (MLR) is an important mixture model with many applications. In this model, each observation is generated from one of the several unknown linear regression components, where the identity of the generated component is also unknown. Previous works either assume strong assumptions on the data distribution or have high complexity. This paper proposes a fixed parameter tractable algorithm for the problem under general conditions, which achieves global convergence and the sample complexity scales nearly linearly in the dimension. In particular, different from previous works that require the data to be from the standard Gaussian, the algorithm allows the data from Gaussians with different covariances. When the conditional number of the covariances and the number of components are fixed, the algorithm has nearly optimal sample complexity $N = ilde{O}(d)$ as well as nearly optimal computational complexity $ ilde{O}(Nd)$, where $d$ is the dimension of the data space. To the best of our knowledge, this approach provides the first such recovery guarantee for this general setting.

연구 동기 및 목표

• 기존 MLR 알고리즘이 동일한 공분산 또는 표준 가우시안 입력과 같은 강력한 분포 가정을 필요로 하는 한계를 해결하기 위해.
• 각 구성 요소에 대해 서로 다른 공분산 행렬을 가진 일반 조건에서도 작동하는 고정 매개변수 다항식 시간 알고리즘을 개발하기 위해.
• 고차원 설정에서 거의 최적의 표본 복잡도와 계산 복잡도를 달성하기 위해.
• 이러한 일반 설정에서 MLR에 대해 전역 복구 보장을 제공하는 최초의 방법을 제시하기 위해, $\Delta$, $\sigma$, $p_{\min}$ 등의 핵심 매개변수에 대한 명시적 의존성을 포함하여.

제안 방법

• 모멘트를 단순한 한 번의 초기화에 사용하는 것이 아니라, 점진적으로 경사 하강법 단계를 안내하는 데 사용하는 새로운 '모멘트 강하 방법'을 제안한다.
• 기울기 추정의 미분 가능성과 안정성을 확보하기 위해, 매끄러운 로그우도 목표 함수 $g(v) = \mathbb{E}[\log(|\langle w - v, x \rangle| + \zeta)]$ 를 사용한다.
• 두 단계 접근법을 사용한다: 첫째, 모멘트 강하법을 통해 진짜 구성 요소 가중치에 가까운 방향을 식별하고, 둘째, 경사 하강법을 통해 추정치를 $\varepsilon$-정확도로 정밀화한다.
• 재귀적 제거 전략을 도입한다: 구성 요소의 가중치를 복구한 후, 해당 구성 요소와 일치하는 데이터 포인트들을 제거하여 다음 구성 요소를 분리한다.
• 부정적 기울기와 진짜 가중치 차이 사이의 상관관계를 활용하여 수렴성을 보장하며, 이는 $\|w_i - v^{(t)}\|_2$ 항으로 제한된다.
• 구성 요소 제거 중 최소한의 오차 전파를 보장하기 위해, 철저히 조정된 오차 임계값 $\varepsilon_g = \left(\frac{p_{\min}\Delta}{\sigma d}\right)^{\Omega(k^2)}$ 을 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 가우시안 구성 요소와 서로 다른 공분산을 가진 MLR에 대해, 고정 매개변수 다항식 시간 알고리즘이 거의 최적의 표본 복잡도와 계산 복잡도를 달성할 수 있는가?
• RQ2 단일 한 번의 초기화가 아닌, 모멘트 기반 강하를 통해 구성 요소 간의 갈등을 점진적으로 해결할 수 있는가?
• RQ3 거의 선형 복잡도로 전역 수렴을 보장하기 위해 필요한 최소한의 가정(예: 분리도 $\Delta$, 유계 공분산 $\sigma$)은 무엇인가?
• RQ4 특히 $k$ 가 클 경우, 알고리즘의 성능은 구성 요소 수 $k$ 와 어떻게 스케일링되는가?
• RQ5 선형 회귀의 구조를 활용함으로써 일반적인 가우시안 혼합 모델에서 흔히 나타나는 $d^2$ 표본 복잡도를 피할 수 있는가?

주요 결과

• 모든 $k$, $\sigma$, $\Delta$, $p_{\min}$ 가 고정되어 있을 경우, 표본 복잡도 $N = \tilde{O}(d)$ 를 달성하며, 이는 차원 $d$ 에 대해 거의 최적이다.
• 계산 복잡도는 $\tilde{O}(Nd)$ 로 스케일링되며, 동일한 고정 매개변수 가정 하에 $N$ 과 $d$ 양쪽 모두에서 거의 최적이다.
• 알고리즘은 데이터가 구형 대칭이거나 표준 가우시안에서 유래하지 않더라도 전역 수렴을 보장한다.
• 이 알고리즘은 서로 다른 공분산을 가진 일반적인 가우시안 구성 요소에 대해 MLR의 복구 보장을 제공하는 최초의 방법이다.
• '모멘트 강하 방법'의 사용은 점진적 정밀화를 가능하게 하며, 한 번의 초기화로 인한 불안정성을 피할 수 있다.
• 오차 임계값 $\varepsilon_g = \left(\frac{p_{\min}\Delta}{\sigma d}\right)^{\Omega(k^2)}$ 는 구성 요소 제거 과정에서 오차 누적이 거의 없도록 보장하여, 후속 단계의 정확도를 유지한다.