[論文レビュー] Provable Tensor Methods for Learning Mixtures of Classifiers.

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|Dec 9, 2014

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、入力の高次スコア関数特徴を活用することで、分類器の混合モデルを学習するための証明可能に一貫性のあるテンソル分解手法を提案する。ラベルとこれらのスコア関数の間のクロスモーメントテンソルを構築することにより、弱い非退化性仮定のもとで混合成分の回復が保証され、特徴抽出が関連混合モデルにおける一貫性推定に不可欠であることが示された。

ABSTRACT

We consider the problem of learning associative mixtures for classification and regression problems, where the output is modeled as a mixture of conditional distributions, conditioned on the input. In contrast to approaches such as expectation maximization (EM) or variational Bayes, which can get stuck in bad local optima, we present a tensor decomposition method which is guaranteed to correctly recover the parameters. The key insight is to learn score function features of the input, and employ them in a moment-based approach for learning associative mixtures. Specifically, we construct the cross-moment tensor between the label and higher order score functions of the input. We establish that the decomposition of this tensor consistently recovers the components of the associative mixture under some simple non-degeneracy assumptions. Thus, we establish that feature learning is the critical ingredient for consistent estimation of associative mixtures using tensor decomposition approaches.

研究の動機と目的

• EM や変分ベイズなどの従来手法が抱える局所最適解の制限に対処すること。
• 分類および回帰タスクにおける関連混合モデルの混合成分の一致回復を保証する手法を開発すること。
• 特にスコア関数特徴が、テンソル分解を介した一貫性推定を可能にする役割を特定すること。
• 提案されたテンソルベースのアプローチが、真の混合成分を成功裏に回復する理論的条件を確立すること。

提案手法

• ラベルと入力特徴の高次スコア関数の間のクロスモーメントテンソルを構築する。
• モーメントに基づくテンソル分解を用いて、関連混合モデルのパラメータを推定する。
• 入力分布から導かれるスコア関数特徴を用いて、同定可能性と一貫性を向上させる。
• クロスモーメントテンソルの多次元線形構造を活用して、個々の混合成分を分離・回復する。
• 構築されたテンソルに対して、カノニカルパーオイド（CP）分解などのテンソル分解技術を適用して成分を回復する。
• 混合成分およびスコア関数に対する弱い非退化性仮定のもとで、パラメータ回復の一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 局所最適解に陥ることなく、アソシエイティブ混合モデルのパラメータをテンソルベースの手法で一貫して回復できるか？
• RQ2 入力の高次スコア関数特徴が、テンソル分解による一貫性推定を可能にする役割は何か？
• RQ3 ラベルとスコア関数の間のクロスモーメントテンソルが、混合成分の正確な回復を許容する条件は何か？
• RQ4 収束性と同定可能性の観点から、EM や変分ベイズに比べて、提案手法が示す理論的保証は何か？

主な発見

• 提案されたテンソル手法は、弱い非退化性仮定のもとで、アソシエイティブ混合モデルのパラメータの一致回復を保証する。
• テンソルベースの混合学習における一貫性推定を達成するには、スコア関数表現による特徴抽出が不可欠である。
• ラベルと高次スコア関数の間のクロスモーメントテンソルは、混合成分を同定するのに十分な多次元線形構造を捉えている。
• 反復的最適化に依存するのではなく代数的分解に依存することで、EM や変分ベイズに内在する局所最適解を回避する。
• 理論的解析により、モデルが同定可能である場合、構築されたテンソルの分解が一意に混合成分を回復することが確認された。
• 条件付き分布の混合学習におけるヒューリスティック最適化手法に対する、証明可能な代替手法を提供する。