[論文レビュー] Iterative Least Trimmed Squares for Mixed Linear Regression

Yanyao Shen, Sujay Sanghavi|arXiv (Cornell University)|Feb 10, 2019

Advanced Statistical Methods and Models参考文献 33被引用数 5

ひとこと要約

本稿では、不正なデータを含む混合線形回帰に対して、最小損失を持つサンプルのサブセットを選択して再フィッティングを繰り返す、シンプルで効果的なアルゴリズムである反復的最小トリムド平方和（ILTS）を提案する。著者らは、決定論的条件下で最も近い混合成分への線形収束を確立し、等方性ガウス設定において、最先端の性能と改善されたサンプル複雑度を示した。

ABSTRACT

Given a linear regression setting, Iterative Least Trimmed Squares (ILTS) involves alternating between (a) selecting the subset of samples with lowest current loss, and (b) re-fitting the linear model only on that subset. Both steps are very fast and simple. In this paper we analyze ILTS in the setting of mixed linear regression with corruptions (MLR-C). We first establish deterministic conditions (on the features etc.) under which the ILTS iterate converges linearly to the closest mixture component. We also provide a global algorithm that uses ILTS as a subroutine, to fully solve mixed linear regressions with corruptions. We then evaluate it for the widely studied setting of isotropic Gaussian features, and establish that we match or better existing results in terms of sample complexity. Finally, we provide an ODE analysis for a gradient-descent variant of ILTS that has optimal time complexity. Our results provide initial theoretical evidence that iteratively fitting to the best subset of samples -- a potentially widely applicable idea -- can provably provide state of the art performance in bad training data settings.

研究の動機と目的

• 最小トリムド平方和（LTS）の取り扱いが困難であるのを避ける、不正なデータを含む混合線形回帰のためのシンプルで反復的なアルゴリズムの開発。
• ILTSの理論的保証の提供、特に特徴量とモデルパラメータに決定論的条件を課した場合の混合成分への線形収束。
• 等方性ガウス特徴量設定におけるILTSのサンプル複雑度の境界を確立し、既存の結果と同等またはそれを上回ることを示す。
• ILTSをサブライドとして用いるグローバルアルゴリズムの設計により、混合線形回帰におけるすべての成分を回復すること。
• 勾配降下法の変種であるILTSのODE解析による時間計算量の分析を行い、最適性を達成すること。

提案手法

• ILTSは、現在の損失が最小となる上位τ分率のサンプルを選択し、そのサブセット上で線形モデルを再フィッティングするのを繰り返す。
• サブセット選択は、二乗誤差でサンプルをソートし、τn個の最小値を選択することで実行され、計算的に効率的である。
• モデル更新ステップでは、選択されたサブセット上で標準的な最小二乗問題を解くため、高速な収束が保証される。
• 特徴量とモデルパラメータに決定論的条件を課した下でアルゴリズムを分析し、線形収束を保証する。
• 時間計算量の保証を得るために、ODEに基づく解析を勾配降下法の変種に適用する。
• 初期推定値が真の成分に近いと仮定して、各成分を順次回復するためにILTSを繰り返し適用するグローバル回復アルゴリズムを構築する。

実験結果

リサーチクエスチョン

• RQ1 混合線形回帰に不正なデータが含まれる状況で、特徴量とモデルパラメータに決定論的条件が課された場合、ILTSはどの程度の条件下で最も近い混合成分へ線形収束するか？
• RQ2 等方性ガウス特徴量設定において、ILTSのサンプル複雑度は既存手法と比較してどのように評価されるか？
• RQ3 ILTSは、混合線形回帰におけるすべての成分を回復できるグローバルアルゴリズムに拡張可能か？
• RQ4 勾配降下法の変種であるILTSの時間計算量は何か？ また、最適性を達成しているか？
• RQ5 勾配変種のODE解析は、ILTSの収束行動とどのように関連しているか？

主な発見

• 特徴量とモデルパラメータに決定論的条件が課された下で、ILTSは最も近い混合成分へ線形収束する。
• 等方性ガウス特徴量設定において、ILTSは既存の最先端手法と同等またはそれを上回るサンプル複雑度を達成する。
• ILTSをサブライドとして用いるグローバルアルゴリズムは、不正なデータを含む混合線形回帰において、すべての成分を正常に回復する。
• 勾長下法の変種であるILTSのODE解析により、最適な時間計算量が確認され、実用的な効率性を裏付ける。
• 理論的境界により、誤差が反復回数に従って指数関数的に減少することが示され、収束速度は特徴量の構造と初期化の質に依存する。
• 各反復で最も一貫性のあるサンプルサブセットに注目することで、敵対的不正データに対して明示的なロバスト性を示す。