[논문 리뷰] Alternating Minimization Converges Super-Linearly for Mixed Linear Regression

Avishek Ghosh, Kannan Ramchandran|arXiv (Cornell University)|2020. 04. 23.

Advanced Statistical Methods and Models참고 문헌 28인용 수 4

한 줄 요약

이 논문은 두 성분을 가진 혼합 선형 회귀 문제에서 대체 최소화(AM)의 이론적 초선형 수렴 속도를 처음으로 확립한다. 적절한 초기화 조건 하에서 AM은 ℓ₂ 노름에서 ε 오차를 달성하기 위해 O(log log(1/ε)) 반복 내에 수렴함을 보여주며, 이는 AM의 경험적 빠른 수렴 속도가 특정 매개변수 영역에서 선형 수렴보다 빠른 수렴 속도에 의해 이론적으로 근거가 있음을 시사한다.

ABSTRACT

We address the problem of solving mixed random linear equations. We have unlabeled observations coming from multiple linear regressions, and each observation corresponds to exactly one of the regression models. The goal is to learn the linear regressors from the observations. Classically, Alternating Minimization (AM) (which is a variant of Expectation Maximization (EM)) is used to solve this problem. AM iteratively alternates between the estimation of labels and solving the regression problems with the estimated labels. Empirically, it is observed that, for a large variety of non-convex problems including mixed linear regression, AM converges at a much faster rate compared to gradient based algorithms. However, the existing theory suggests similar rate of convergence for AM and gradient based methods, failing to capture this empirical behavior. In this paper, we close this gap between theory and practice for the special case of a mixture of $2$ linear regressions. We show that, provided initialized properly, AM enjoys a \emph{super-linear} rate of convergence in certain parameter regimes. To the best of our knowledge, this is the first work that theoretically establishes such rate for AM. Hence, if we want to recover the unknown regressors upto an error (in $\ell_2$ norm) of $ε$, AM only takes $\mathcal{O}(\log \log (1/ε))$ iterations. Furthermore, we compare AM with a gradient based heuristic algorithm empirically and show that AM dominates in iteration complexity as well as wall-clock time.

연구 동기 및 목표

• 실제로 관측되는 대체 최소화(AM)의 빠른 수렴 속도와 기존 이론이 예측하는 느린 수렴 속도 사이의 이론적 격차를 메우기 위해.
• 혼합 선형 회귀의 특수 케이스인 두 개의 선형 회귀 모델에 대한 AM의 수렴 행동을 분석하기 위해.
• 적절한 초기화 조건 하에서 AM이 초선형 수렴을 달성함을 입증하여, 기울기 기반 방법보다 경험적으로 뛰어난 성능을 보이는 이유를 설명하기 위해.
• 잠재 변수를 가진 비凸 문제, 예를 들어 혼합 선형 회귀에서 관측되는 AM의 빠른 수렴 현상에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 저자들은 반복값을 경험적 과정으로 모델링하여 AM 알고리즘을 분석하며, 레이블 추정 및 회귀 갱신 단계에 집중한다.
• 서브가우시안 및 서브지수 농도 부등식을 사용하여 각 성분에 할당된 샘플 수에 대한 고확률 상한을 도출한다.
• 예측 오차를 추정 오차로 변환하기 위해 가우시안 랜덤 행렬의 스펙트럼 성질을 활용한다.
• 핵심 단계로, 잘못 분류된 샘플 집합에서 ∑⟨xᵢ, u⟩²의 이차형식을 서브지수 尾 꼬리 확률 부등식을 사용해 경계한다.
• 증명은 레이마 1을 사용하여 잘못 분류된 집합의 크기를 제어하여 오차가 거리의 세제곱에 비례하여 감소함을 보장한다.
• 오차 전파 및 스펙트럼 하한을 조합함으로써, 추정 오차가 O(dist³)로 감소함을 보여주며, 이는 초선형 수렴을 의미한다.

실험 결과

연구 질문

• RQ1 기존 이론이 선형 수렴만 예측하는 바와는 달리, 두 성분을 가진 혼합 선형 회귀 문제에서 대체 최소화(AM)가 초선형 수렴을 보일 수 있는가?
• RQ2 왜 비凸 설정에서 잠재 변수를 포함한 문제에서 AM은 기울기 기반 방법보다 현저히 더 빠르게 수렴하는가?
• RQ3 두 성분을 가진 혼합 선형 회귀 모델에서 AM의 경험적 빠른 수렴 현상은 이론적으로 설명될 수 있는가?
• RQ4 적절한 초기화가 AM의 초선형 수렴 가능성을 어떻게 보장하는가?
• RQ5 실험에서 관측된 수렴 지수 약 1.75–1.8은 이론적 초선형 수렴 속도와 일치하는가?

주요 결과

• 적절한 초기화 조건 하에서 두 성분을 가진 혼합 선형 회귀 문제에서 AM은 O(log log(1/ε)) 반복 내에 ℓ₂ 노름에서 ε 오차를 달성하는 초선형 수렴 속도를 확보한다.
• 추정 오차는 거리(dist)의 세제곱에 비례하여 감소하며, 이는 초선형 수렴을 확인한다. 여기서 dist는 진짜 매개변수와의 ℓ₂ 거리이다.
• 이론적 분석은 서브가우시안 및 서브지수 농도 경계를 통해 잘못 분류된 샘플 수가 엄격히 제어됨을 보여준다.
• 설계 행렬의 스펙트럼 노름은 예측 오차가 유리한 하한을 가지며 추정 오차로 변환됨을 보장하여 오차의 세제곱 감소를 가능하게 한다.
• 경험적 결과는 AM이 반복 횟수와 월클록 시간 모두에서 기울기 기반 방법을 능가함을 확인하며, 이론적 수렴 속도 향상 효과를 검증한다.
• 실험에서 관측된 수렴 지수(1.75–1.8)는 초선형 행동과 일치하지만, 이론적 분석은 세제곱 감소 속도를 시사한다.