[論文レビュー] Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization

Xinyang Yi, Constantine Caramanis+1 more|arXiv (Cornell University)|Aug 19, 2016

Markov Chains and Monte Carlo Methods参考文献 2被引用数 37

ひとこと要約

本稿では、k 個の成分をもつ混合ランダム線形方程式を解くために、テンソル分解と交互最小化を組み合わせた二段階アルゴリズムを提案する。この手法は次元 p に対して線形で、k に対して多項式のサンプル複雑性を達成し、正確な回復を実現する。初期化としてテンソル分解を用いることで、交互最小化のグローバル収束が保証され、一般の k に対して最適なサンプル複雑性を有する、初めての証明可能な効率的解法を提供する。

ABSTRACT

We consider the problem of solving mixed random linear equations with $k$ components. This is the noiseless setting of mixed linear regression. The goal is to estimate multiple linear models from mixed samples in the case where the labels (which sample corresponds to which model) are not observed. We give a tractable algorithm for the mixed linear equation problem, and show that under some technical conditions, our algorithm is guaranteed to solve the problem exactly with sample complexity linear in the dimension, and polynomial in $k$, the number of components. Previous approaches have required either exponential dependence on $k$, or super-linear dependence on the dimension. The proposed algorithm is a combination of tensor decomposition and alternating minimization. Our analysis involves proving that the initialization provided by the tensor method allows alternating minimization, which is equivalent to EM in our setting, to converge to the global optimum at a linear rate.

研究の動機と目的

• ラベルが観測されない混合サンプルから複数の線形モデルを推定する課題に対処すること。
• ランダムな共変量設計のもとで、k 個の成分をもつ混合線形方程式を解くための実行可能アルゴリズムを構築し、従来の手法が k や次元に対して指数的または超線形の依存を示すという限界を克服すること。
• テンソル分解による初期化と交互最小化による精練を組み合わせることで、正確な回復に関する理論的保証を確立すること。
• テンソル法による初期化で真のパラメータに十分近い初期値が得られた場合、交互最小化がグローバル最適解に線形収束することを証明すること。

提案手法

• 本手法は、データから構築された新規の三階モーメントテンソルを用い、テンソル分解により成分パラメータを推定することで、真のパラメータに近い初期推定値を提供する。
• 共変量のガウス分布（x_i ~ N(0, I_p)）を活用することで、モーメントが適切に条件付けられて分解に適していることを保証する。
• 初期推定値の精錬には、構造的潜在変数をもつ非凸最適化問題として扱う交互最小化を適用する。
• 解析により、真の解からの相対誤差が定数に収まる範囲で初期化された場合、交互最小化がグローバル最適解に線形収束することを示した。
• テンソル分解段階は、ɛ-近似推定を O(1/ɛ²) サンプルで達成でき、第二段階における収束を可能にする良好な初期化を提供することが示された。
• 理論的保証は、潜在成分構造に基づく条件付き事象における集中不等式およびサブガウス尾部バウンドに依存する。

実験結果

リサーチクエスチョン

• RQ1 一般の k ≥ 2 に対して、計算的に効率的かつ正確な回復が可能で、最適なサンプル複雑性を達成するアルゴリズムは存在するか？
• RQ2 テンソル分解による初期化がなされた場合、交互最小化は真のパラメータにグローバルに収束するか？
• RQ3 ランダム共変量をもつノイズのない混合線形回帰モデルにおいて、正確な回復に必要な最小サンプル複雑性は何か？
• RQ4 EM 法や勾配ベースの手法と比較して、提案手法は収束性およびサンプル効率においてどのように異なるか？
• RQ5 テンソル分解は、高次元混合モデルにおける非凸最適化の線形収束を可能にする、頑健な初期化を提供できるか？

主な発見

• 提案アルゴリズムは、高確率で Õ(k¹⁰p) サンプルを用いて正確な回復を達成し、次元 p に対して線形で、k に対して多項式のサンプル複雑性を実現する。これは従来の手法に比べ顕著な改善である。
• サンプル複雑性はほぼ最適であり、p に対して線形依存に近いが、対数因子がわずかに加わる。k に対しても多項式依存である。
• テンソル分解は、O(1/ɛ²) サンプルで ɛ-近似初期値を提供でき、これにより後続の交互最小化の収束が可能になる。
• 真のパラメータからの相対誤差が定数に収まる範囲で初期化された場合、交互最小化はグローバル最適解に線形収束する。
• 本手法は、k ≥ 3 に対して、混合線形回帰における交互最小化のグローバル収束保証を初めて証明した。
• 解析により、ガウス共変量のもとでアルゴリズムが頑健であり、条件付きサブガウス性に基づく強い集中バウンドが得られることを示した。