[論文レビュー] Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models

Babak Barazandeh, Ali Ghafelebashi+2 more|arXiv (Cornell University)|May 12, 2021

Statistical Methods and Inference参考文献 33被引用数 4

ひとこと要約

本稿では、非ガウスノイズ（特にラプラスノイズ）を伴う混合線形回帰（MLR）モデルにおける最尤推定のための、新しいADMM-EMハイブリッドアルゴリズムを提案する。従来のEMは、閉形式の更新式が存在しないため、非ガウス的状況で失敗するが、本手法は最尤推定問題を再定式化することで、各ADMMサブプロブレムで閉形式の更新が可能となる。これにより、非ガウス的状況下でEMよりも優れた統計的精度と計算効率を達成する。

ABSTRACT

Mixed linear regression (MLR) model is among the most exemplary statistical tools for modeling non-linear distributions using a mixture of linear models. When the additive noise in MLR model is Gaussian, Expectation-Maximization (EM) algorithm is a widely-used algorithm for maximum likelihood estimation of MLR parameters. However, when noise is non-Gaussian, the steps of EM algorithm may not have closed-form update rules, which makes EM algorithm impractical. In this work, we study the maximum likelihood estimation of the parameters of MLR model when the additive noise has non-Gaussian distribution. In particular, we consider the case that noise has Laplacian distribution and we first show that unlike the the Gaussian case, the resulting sub-problems of EM algorithm in this case does not have closed-form update rule, thus preventing us from using EM in this case. To overcome this issue, we propose a new algorithm based on combining the alternating direction method of multipliers (ADMM) with EM algorithm idea. Our numerical experiments show that our method outperforms the EM algorithm in statistical accuracy and computational time in non-Gaussian noise case.

研究の動機と目的

• 非ガウス的ノイズ（例：ラプラスノイズ）を伴う混合線形回帰において、EMアルゴリズムが閉形式の更新が存在しないために限界に達することを是正すること。
• 非ガウス的ノイズ下での混合線形回帰モデルにおける最尤推定のためのスケーラブルで効率的な最適化手法を開発すること。
• ラプラスノイズ状況下でEMの計算ボトルネックを、ADMMとEMに類似した更新法を組み合わせることで克服すること。
• 高次元および大規模なMLR問題においても高い統計的精度を維持できる、数値的に安定で高速なアルゴリズムを提供すること。

提案手法

• 混合線形回帰の最尤推定（MLE）目的関数を再定式化し、ADMM最適化に適した形に変換する。
• 成分の重みと回帰係数の推定を分離するために変数分割技術を導入する。
• 再定式化された問題をADMMで解き、各サブプロブレムに閉形式の更新式が得られることを保証する。これにより、計算が効率的に行える。
• EMのソフト代入（後erior確率を用いたもの）のアイデアと、ADMMの交互最小化フレームワークを統合する。
• 変数間の一致を強制するために、罰則パラメータ ρ を用いた双対上昇ステップを実装し、収束を保証する。
• ガウス的ノイズおよびラプラスノイズの両ケースにおいて、回帰係数および補助変数の閉形式更新式を導出する。

実験結果

リサーチクエスチョン

• RQ1 非ガウス的ノイズ（例：ラプラスノイズ）を伴う混合線形回帰における最尤推定のための効率的アルゴリズムを開発できるか？
• RQ2 標準的なEMアルゴリズムがラプラスノイズ下で閉形式の更新が得られない理由は何か？ そして、これを克服できるか？
• RQ3 ADMMをEMに類似した反復的更新と効果的に組み合わせることで、非凸的MLR問題に非ガウス的ノイズを伴って適用可能か？
• RQ4 提案されたハイブリッドADMM-EMアルゴリズムは、ラプラスノイズ下でEMよりも推定精度と計算速度の面で優れているか？
• RQ5 提案手法は、混合線形回帰における成分数や次元数の変動に対してもスケーラブルで頑健か？

主な発見

• 提案されたADMM-EMハイブリッドアルゴリズムは、ラプラスノイズ状況下でEMよりも顕著に低い回復誤差を達成しており、EMが優れているという帰無仮説は、ペアドt検定により棄却された（p < 0.05）。
• 計算効率面でもEMを上回っており、ラプラスノイズ下ではEMが各ステップで高価な線形計画問題を解く必要があるため、1回の実行で1.6〜10分の長さの遅延が生じる。
• 提案手法はすべてのサブプロブレムで閉形式の更新式を維持しており、高次元設定下でも高速かつスケーラブルな最適化が可能である。
• ガウスノイズ状況下では、両手法の精度は同等に近いが、提案手法はその効率的な更新ルールのおかげで依然として高速である。
• 1950件のデータ点を対象とした30回の繰り返し実験により、K（2〜14成分）およびd（1〜5次元）の変動に対しても、提案手法の頑健性と一貫性が確認された。
• アルゴリズムは信頼性高く収束し、高い統計的精度を達成しており、ガウス的およびラプラス的ノイズ状況下の平均回復誤差（平均 ± 標準偏差）は表中に報告されている。