[論文レビュー] Convergence of Parameter Estimates for Regularized Mixed Linear Regression Models

Taiyao Wang, Ioannis Ch. Paschalidis|arXiv (Cornell University)|Mar 21, 2019

Statistical Methods and Inference参考文献 28被引用数 4

ひとこと要約

本稿は、収束保証付きの正則化混合線形回帰（MLR）のための混合整数プログラミング（MIP）定式化を提案する。ノイズなしの場合、およびクラスタ分離性が成り立つ場合に、パラメータ推定値が真の係数にほとんど確実に収束することを確立する。一方、マルティングル・ディファレンスノイズを伴う単一クラスタモデルでは収束を示す。複数クラスタにノイズが存在する場合、パラメータの同定不能性のため強い一致性が成立しない可能性があることを示す反例を提示する。

ABSTRACT

We consider {\em Mixed Linear Regression (MLR)}, where training data have been generated from a mixture of distinct linear models (or clusters) and we seek to identify the corresponding coefficient vectors. We introduce a {\em Mixed Integer Programming (MIP)} formulation for MLR subject to regularization constraints on the coefficient vectors. We establish that as the number of training samples grows large, the MIP solution converges to the true coefficient vectors in the absence of noise. Subject to slightly stronger assumptions, we also establish that the MIP identifies the clusters from which the training samples were generated. In the special case where training data come from a single cluster, we establish that the corresponding MIP yields a solution that converges to the true coefficient vector even when training data are perturbed by (martingale difference) noise. We provide a counterexample indicating that in the presence of noise, the MIP may fail to produce the true coefficient vectors for more than one clusters. We also provide numerical results testing the MIP solutions in synthetic examples with noise.

研究の動機と目的

• 一般のノイズおよび特徴条件の下で、混合線形回帰モデルのパラメータ推定値の強い一貫性を確立すること。
• MLRにノルムに基づく正則化を組み込んだMIP定式化を構築すること。
• 標本サイズの増加に伴い、MIP解が真の係数ベクトルに収束するかどうかを分析すること。
• MIPがMLRにおいて正しくクラスタ所属を特定できる条件を同定すること。
• 特に複数クラスタ設定において、ノイズ下でのMIP手法のロバストネスを検討すること。

提案手法

• 係数ベクトルへの正則化制約を含む、混合線形回帰を混合整数計画問題（MIP）として定式化する。
• MIPフレームワークを用いて、同時にクラスタ割り当てと回帰係数を推定する。
• 最小二乗推定の強い一貫性理論の技術を用い、弱い仮定のもとでMIP定式化に適応する。
• パラメータの非同定性のため、複数クラスタのMLRで強い一貫性が成立しないことを示す反例を提示する。
• Gurobi 8.0とPythonを用いて、ガウス分布および一様分布ノイズを伴う合成データ上で数値実験を実施する。
• 標本サイズ $n$ の関数として、ノルム差 $\|\boldsymbol{\beta}^n_k - \boldsymbol{\beta}_k\|$ を用いて収束を評価する。

実験結果

リサーチクエスチョン

• RQ1 提案された正則化MLRのMIP定式化は、ノイズなしの場合に、真の係数にほとんど確実に収束するパラメータ推定値をもたらすか？
• RQ2 MIP解が各訓練サンプルのクラスタ所属を正しく特定できる条件は何か？
• RQ3 データがマルティングル・ディファレンスノイズで摂動された場合、特に単一クラスタ設定において、MIP手法は強い一貫性を維持できるか？
• RQ4 ノイズが存在する複数クラスタモデルでは、なぜMIPが真のパラメータを回復できないのか。その背後にある構造的制限は何か？
• RQ5 異なるノイズ分布およびクラスタ分離性の下で、MIP推定値の収束速度はどのように振る舞うか？

主な発見

• ノイズなしの場合、訓練サンプル数の増加に伴い、MIP解は真の係数ベクトルにほとんど確実に収束する。
• クラスタ分離性の仮定のもと、MIP解は各サンプルがどのクラスタから生成されたかを正しく特定する。
• マルティングル・ディファレンスノイズを伴う単一クラスタの場合、弱い分布的仮定のもとで、MIP解は真の係数ベクトルに収束する。
• 反例により、ノイズ付きの複数クラスタモデルでは、目的関数値が最小化されても、パラメータの非同定性のため真のパラメータを回復できない可能性があることが示された。
• 数値結果により、クラスタが十分に分離されている場合、MIPの収束はガウス分布および一様分布ノイズ下でも、別個の線形回帰とほぼ同等であることが確認された。
• 標本サイズの増加に伴い、パラメータ推定値の収束速度が向上し、MIP定式化は標準的なEM型手法に比べて一貫性保証において優れている。