[論文レビュー] Provable Tensor Methods for Learning Mixtures of Generalized Linear Models

Hanie Sedghi, Majid Janzamin+1 more|arXiv (Cornell University)|Dec 9, 2014

Tensor decomposition and applications参考文献 28被引用数 11

ひとこと要約

本稿では、入力の3次スコア関数変換と応答変数とのクロス相関を用いて、一般化線形モデル（GLMs）の混合モデルを学習する証明可能かつテンソルに基づく手法を提案する。この手法は、弱い非退化条件のもとで、テンソル分解を用いてGLM成分のパラメータを一貫して回復することを保証し、入力次元および潜在次元に関して低次の多項式のスケールで、標本および計算の複雑さを有する。

ABSTRACT

We consider the problem of learning mixtures of generalized linear models (GLM) which arise in classification and regression problems. Typical learning approaches such as expectation maximization (EM) or variational Bayes can get stuck in spurious local optima. In contrast, we present a tensor decomposition method which is guaranteed to correctly recover the parameters. The key insight is to employ certain feature transformations of the input, which depend on the input generative model. Specifically, we employ score function tensors of the input and compute their cross-correlation with the response variable. We establish that the decomposition of this tensor consistently recovers the parameters, under mild non-degeneracy conditions. We demonstrate that the computational and sample complexity of our method is a low order polynomial of the input and the latent dimensions.

研究の動機と目的

• EM や変分ベイズなどのヒューリスティック手法が、一般化線形モデルの混合モデルを学習する際、しばしば偽の局所最適解に収束するという限界を是正すること。
• 従来の最適化に基づくアプローチにおける局所最適解の罠を克服し、一般化線形モデルの混合モデルにおいて、モデルパラメータの一致した回復を保証する手法を開発すること。
• 入力分布に特化したスコア関数変換を組み込むことで、非線形モデルへのモーメント法のパラダイムを拡張すること。
• 一般化線形モデルの混合モデルにおけるパラメータ回復に関して、標本複雑さと計算効率の理論的保証を確立すること。

提案手法

• 本手法は、入力の確率密度関数の正規化された3階微分から得られるスコア関数テンソル $\mathcal{S}_3(x)$ を特徴量変換として採用する。
• 応答変数 $y$ と入力スコア関数との間のクロスモーメントテンソル $\mathbb{E}[y \cdot \mathcal{S}_3(x)]$ を構築し、これにより潜在的なGLM成分に関する情報を符号化する。
• このクロスモーメントテンソルに対してテンソル分解を適用することで、スケーリングを除き、GLM成分の重みベクトル $\{u_i\}$ を回復する。
• パワーヒット法による効率的かつ安定なスペクトル分解を可能にするために、テンソルのホイットニング処理を実施する。
• 複数のランダム初期化としきい値処理を用いたロバストなテンソルパワー法により、混合成分に対応するすべてのランク1成分を同定・抽出する。
• テンソル分解後、正規化を仮定しない状況でもモデルパラメータを完全に回復できるよう、最終段階でEMステップを適用する。

実験結果

リサーチクエスチョン

• RQ1 弱い非退化仮定のもとで、テンソルベースの手法が一般化線形モデルの混合モデルのパラメータを一貫して回復できるか？
• RQ2 2次スコア関数では不十分であるのに対し、なぜ3次スコア関数が必要となるのか？
• RQ3 GLM成分の重みを $\epsilon$-精度で回復するために、必要な標本複雑さはどの程度か？
• RQ4 入力次元 $d$、成分数 $r$、重み行列の最小特異値 $s_{\min}(U)$ に対して、この手法はどのようにスケーリングされるか？
• RQ5 初期のテンソル分解がスケーリングを除き重みを回復するにとどまる場合、EMと組み合わせることで正規化された重みを完全に回復できるか？

主な発見

• 弱い非退化条件のもとで、クロスモーメントテンソル $\mathbb{E}[y \cdot \mathcal{S}_3(x)]$ の分解により、GLM成分の重みベクトル $\{u_i\}$ の一貫した回復が保証される。
• $\epsilon$-精度での回復に必要な標本複雑さは $\tilde{O}\left(\frac{d^3 r^4}{\epsilon^2 s_{\min}^2(U)}\right)$ であり、これは $d$、$r$、および $1/\epsilon$ に関して低次の多項式である。
• 2次スコア関数 $\mathcal{S}_2(x)$ では、成分を部分空間内でのみ特定可能であり、完全な回復には3次テンソルが必要となる。
• 成分数が入力次元を上回る場合には、4次などの高次スコア関数を用いることで、一貫性を維持できる。
• テンソル分解はロバストかつスケーラブルであり、パワー法により偽の局所最適解を回避でき、並列処理が容易である（ embarrassingly parallel ）。
• テンソル初期化とEMを組み合わせることで収束が著しく向上し、特に高次元設定において正規化された重みの完全な回復が可能になる。