[논문 리뷰] Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models

Babak Barazandeh, Ali Ghafelebashi외 2명|arXiv (Cornell University)|2021. 05. 12.

Statistical Methods and Inference참고 문헌 33인용 수 4

한 줄 요약

이 논문은 비정규성 잡음, 특히 라플라스 잡음이 존재하는 혼합 선형 회귀(MLR) 모델에서 최대우도 추정을 위한 새로운 ADMM-EM 하이브리드 알고리즘을 제안한다. 기존의 EM 알고리즘이 닫힌 형태의 업데이트가 없어 실패하는 상황에서, 이 방법은 MLE 문제를 재구성하여 각 ADMM 하위 문제에서 닫힌 형태의 업데이트를 가능하게 하여, 비정규성 설정에서 EM보다 뛰어난 통계적 정확성과 계산 효율성을 달성한다.

ABSTRACT

Mixed linear regression (MLR) model is among the most exemplary statistical tools for modeling non-linear distributions using a mixture of linear models. When the additive noise in MLR model is Gaussian, Expectation-Maximization (EM) algorithm is a widely-used algorithm for maximum likelihood estimation of MLR parameters. However, when noise is non-Gaussian, the steps of EM algorithm may not have closed-form update rules, which makes EM algorithm impractical. In this work, we study the maximum likelihood estimation of the parameters of MLR model when the additive noise has non-Gaussian distribution. In particular, we consider the case that noise has Laplacian distribution and we first show that unlike the the Gaussian case, the resulting sub-problems of EM algorithm in this case does not have closed-form update rule, thus preventing us from using EM in this case. To overcome this issue, we propose a new algorithm based on combining the alternating direction method of multipliers (ADMM) with EM algorithm idea. Our numerical experiments show that our method outperforms the EM algorithm in statistical accuracy and computational time in non-Gaussian noise case.

연구 동기 및 목표

• 비정규성 잡음(예: 라플라스 잡음)이 존재할 경우 기존의 EM 알고리즘이 하위 문제에서 닫힌 형태의 해를 제공하지 못하는 문제를 해결하기 위해.
• 비정규성 잡음 하에서 혼합 선형 회귀 모델의 최대우도 추정을 위한 확장 가능하고 효율적인 최적화 방법을 개발하기 위해.
• 라플라스 잡음 상황에서 EM의 계산 병목 현상을 해결하기 위해 ADMM와 EM 유사 업데이트를 융합하기 위해.
• 고차원 및 대규모 MLR 문제에서 높은 통계적 정확성을 유지하면서도 수치적으로 안정적이고 빠른 알고리즘을 제공하기 위해.

제안 방법

• 혼합 선형 회귀의 최대우도 추정(MLE) 목적함수를 재구성하여 ADMM 최적화에 적합한 형태로 변형한다.
• 성분 가중치와 회귀 계수의 추정을 분리하기 위해 변수 분할 기법을 도입한다.
• 재구성된 문제를 ADMM로 해결하여 각 하위 문제에서 닫힌 형태의 업데이트를 보장함으로써 효율적인 계산을 가능하게 한다.
• 후행 확률을 통한 소프트 할당의 EM 개념을 ADMM의 교대 최소화 프레임워크와 융합한다.
• 일致성 조건을 강제하기 위해 벌점 매개수 ρ를 사용한 이중 상승 단계를 구현하며, 수렴성을 보장한다.
• 정규성 및 라플라스 잡음 케이스 모두에서 회귀 계수와 보조 변수에 대한 닫힌 형태의 업데이트를 유도한다.

실험 결과

연구 질문

• RQ1 비정규성 잡음(예: 라플라스 잡음)이 존재할 경우, 혼합 선형 회귀에서 최대우도 추정을 위한 효율적인 알고리즘을 개발할 수 있는가?
• RQ2 표준 EM 알고리즘이 라플라스 잡음 하에서 왜 닫힌 형태의 업데이트를 제공하지 못하는가? 이 문제는 극복될 수 있는가?
• RQ3 ADMM는 비볼록성과 비정규성 잡음이 존재하는 MLR 문제를 해결하기 위해 EM 유사 반복 업데이트와 효과적으로 융합될 수 있는가?
• RQ4 제안된 하이브리드 ADMM-EM 알고리즘이 라플라스 잡음 하에서 EM보다 추정 정확도와 계산 속도 면에서 뛰어나게 되는가?
• RQ5 제안된 방법은 혼합 선형 회귀에서 성분 수와 차원 수의 변화에 대해 확장 가능하고 강건한가?

주요 결과

• 제안된 ADMM-EM 하이브리드 알고리즘은 라플라스 잡음 상황에서 EM보다 유의미하게 낮은 복원 오차를 기록하며, EM이 더 잘 작동한다는 근무가설을 paired t-test가 기각함(p < 0.05).
• 계산 효율성 면에서 알고리즘이 EM을 능가한다. 라플라스 잡음 하에서 EM은 각 단계에서 고비용 선형 프로그래밍을 해결해야 하므로, 평균 1.6~10분 더 오래 걸린다.
• 모든 하위 문제에서 닫힌 형태의 업데이트를 유지함으로써 고차원 설정에서도 빠르고 확장 가능한 최적화를 가능하게 한다.
• 정규성 잡음 상황에서는 두 방법이 정확도 면에서 유사하게 작동하지만, 제안된 알고리즘이 효율적인 업데이트 규칙 덕분에 여전히 더 빠르다.
• 1950개의 데이터 포인트에 대해 30회 반복한 수치 실험 결과, K(2–14개 성분)와 d(1–5차원)의 변화에 관계없이 제안된 방법의 강건성과 일관성이 확인되었다.
• 알고리즘은 신뢰성 있게 수렴하며 높은 통계적 정확도를 달성하며, 표와 함께 정규성 및 라플라스 잡음 상황에서의 평균 복원 오차(평균 ± 표준편차)가 보고되었다.