[論文レビュー] Learning Mixtures of Linear Regressions with Nearly Optimal Complexity

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|Feb 22, 2018

Machine Learning and Algorithms参考文献 17被引用数 10

ひとこと要約

本稿では、異なる共分散行列をもつ一般のガウス設定下で混合線形回帰を学習するための固定パラメータで tractable なアルゴリズムを提示する。この手法は、ほぼ最適な標本複雑度 $ ilde{O}(d)$ と計算複雑度 $ ilde{O}(Nd)$ を達成し、解を段階的に改善するための新規な「モーメント降下法」を用いる。これにより、同一共分散や強い分布仮定を必要とせず、グローバル収束を実現する。

ABSTRACT

Mixtures of Linear Regressions (MLR) is an important mixture model with many applications. In this model, each observation is generated from one of the several unknown linear regression components, where the identity of the generated component is also unknown. Previous works either assume strong assumptions on the data distribution or have high complexity. This paper proposes a fixed parameter tractable algorithm for the problem under general conditions, which achieves global convergence and the sample complexity scales nearly linearly in the dimension. In particular, different from previous works that require the data to be from the standard Gaussian, the algorithm allows the data from Gaussians with different covariances. When the conditional number of the covariances and the number of components are fixed, the algorithm has nearly optimal sample complexity $N = ilde{O}(d)$ as well as nearly optimal computational complexity $ ilde{O}(Nd)$, where $d$ is the dimension of the data space. To the best of our knowledge, this approach provides the first such recovery guarantee for this general setting.

研究の動機と目的

• 従来のMLRアルゴリズムが同一共分散や標準ガウス入力のような強い分布仮定を必要としているという制限を解消すること。
• 各成分に異なる共分散行列をもつ一般条件下でも動作する固定パラメータで tractable なアルゴリズムを開発すること。
• 高次元設定下でほぼ最適な標本および計算複雑度を達成すること。
• 本稿の一般設定において、MLRのグローバル回復保証を初めて提供すること。特に $ abla$, $ abla$, および $p_{ ext{min}}$ のような主要パラメータの明示的依存関係を含む。

提案手法

• モーメントをワンショットのウォームスタートに使うのではなく、勾配降下ステップを段階的に誘導する目的で用いる、新規な「モーメント降下法」を提案する。
• 勾配推定の微分可能性と安定性を保証するため、滑らか化された対数尤度目的関数 $g(v) = \mathbb{E}[\log(|\langle w - v, x \rangle| + \zeta)]$ を採用する。
• 二段階アプローチを採用：第一段階ではモーメント降下が真の成分重みに近い方向を特定し、第二段階では勾配降下で推定値を $ abla$-精度まで精錬する。
• 再帰的除去戦略を導入：成分重みを回復した後、それに整合するデータ点を除去することで、次なる成分を分離する。
• 負の勾配と真の重み差の間の相関関係を活用し、収束を保証する。収束は $ abla$ 項によって制限される。
• 成分除去中の誤差伝搬を最小限に抑えるために、慎重に調整された誤差閾値 $\varepsilon_g = \left(\frac{p_{\min}\Delta}{\sigma d}\right)^{\Omega(k^2)}$ を採用する。

実験結果

リサーチクエスチョン

• RQ1 固定パラメータで tractable なアルゴリズムは、異なる共分散行列をもつ一般のガウス成分下で、ほぼ最適な標本および計算複雑度を達成できるか？
• RQ2 ワンショットのモーメント初期化に依存せず、段階的モーメントベース降下によって成分の分離を段階的に可能にすることができるか？
• RQ3 グローバル収束を保証するための最小限の仮定（例えば分離度 $ abla$、有界共分散 $ abla$）は何か？ また、ほぼ線形複雑度を達成できる条件は？
• RQ4 特に $k$ が大きい場合に、アルゴリズムの性能はどのようにスケーリングするか？
• RQ5 線形回帰構造を活用することで、一般のガウス混合モデルで一般的に見られる $d^2$ の標本複雑度を回避できるか？

主な発見

• 固定パラメータ $k$, $ abla$, $ abla$, $p_{\min}$ の下で、標本複雑度 $N = \tilde{O}(d)$ を達成し、次元 $d$ に対してほぼ最適である。
• 計算複雑度は $\tilde{O}(Nd)$ に比例し、$N$ および $d$ の両方においてほぼ最適である。
• 球対称なデータや標準ガウス分布からの抽出を仮定せず、グローバル収束を実現可能である。
• 本手法は、異なる共分散行列をもつ一般のガウス成分下でMLRの回復保証を初めて提供する。
• 「モーメント降下法」の使用により、段階的精錬が可能となり、ワンショットモーメント初期化に起因する不安定性を回避できる。
• 誤差閾値 $\varepsilon_g = \left(\frac{p_{\min}\Delta}{\sigma d}\right)^{\Omega(k^2)}$ により、成分除去過程での誤差蓄積が著しく抑制され、後続のステップでの精度が保たれる。