[論文レビュー] LEARNING MIXTURES OF LINEAR CLASSIFIERS

Yuekai Sun|arXiv (Cornell University)|Nov 11, 2013

Bayesian Methods and Mixture Models参考文献 21被引用数 12

ひとこと要約

本稿では、パラメータベクトルの混合線形分類器が張る部分空間を学習するためのスペクトル的手法であるSpectralMirrorを提案する。ラベルの「ミラーリング」変換を用いる。ガウス的特徴量の仮定の下で、O(d³)の計算コストでほぼ最適の統計的効率を達成し、推定された部分空間への次元削減により、高精度な下流の予測とクラスタリングを実現する。

ABSTRACT

We consider a discriminative learning (regression) problem, whereby the regression function is a convex combination of k linear classifiers. Existing approaches are based on the EM algorithm, or similar techniques, without provable guarantees. We develop a simple method based on spectral techniques and a `mirroring' trick, that discovers the subspace spanned by the classifiers' parameter vectors. Under a probabilistic assumption on the feature vector distribution, we prove that this approach has nearly optimal statistical efficiency.

研究の動機と目的

• 既存のEMベースの手法における証明可能保証の欠如に対処すること。
• 高次元分類混合モデルにおける計算的に効率的かつ統計的に一貫性のある手法を開発すること。
• 特に二値ラベルにおいて、テンソルベースのアプローチの制限を克服すること。
• 分類器パラメータが張る部分空間を推定することで、問題の次元を削減し、効率的な下流推論を可能にすること。
• 近似的な部分空間推定が、予測およびクラスタリング性能の顕著な向上に十分であることを示すこと。

提案手法

• 本手法は、特徴量にミラーリングラベル変換を適用した経験的平均を用いて、$\hat{Q} \in \mathbb{R}^{d \times d}$ なる対称行列を構築する。
• 二値ラベルの分離を向上させるために、「ミラーリング」トリックを活用する。
• 行列 $\hat{Q}$ の最大 $k$ 個の固有値に対応する固有ベクトルが、真の分類器パラメータ $u_1, \dots, u_k$ が張る部分空間を近似する。
• 部分空間を推定した後、射影されたデータ上でK近傍法を用いて予測を実行し、元の空間におけるものより顕著に性能向上を達成する。
• EMを用いたクラスタリングおよびプロファイル推定を、推定された部分空間に制約することでさらに精緻化し、局所最適解のリスクを低減し収束性を向上させる。
• ガウス的特徴量ベクトルの仮定の下で理論的保証を導出し、ほぼ最適の統計的効率性を示している。

実験結果

リサーチクエスチョン

• RQ1 証明可能保証を有するスペクトル的手法は、線形分類器混合モデルのパラメータが張る部分空間を学習できるか？
• RQ2 提案されたラベルの「ミラーリング」変換は、二値ラベルを伴う分類設定において、有効な部分空間回復を可能にするか？
• RQ3 近似的な部分空間推定は、下流の予測およびクラスタリング性能の顕著な向上に十分か？
• RQ4 本手法の計算複雑度は、特に高次元設定において、テンソルベースのアプローチと比較してどうなるか？
• RQ5 低次元部分空間で動作しても、近似的に最適な統計的効率性を達成できるか？

主な発見

• ガウス的特徴量の仮定の下で、SpectralMirror手法はほぼ最適の統計的効率性を達成し、サンプル複雑度はテンソルベースの手法と比較して有利にスケーリングされる。
• 実験結果では、推定された部分空間上でのK近傍法が、元の空間におけるK-NNよりも優れた性能を示し、部分空間推定誤差が存在しても同様に有効である。
• 推定された部分空間に初期化されたEMは、より良い解に収束し、初期値に依存しにくく、局所最適解の数を削減する。
• 正規化0-1損失で測定したクラスタリング性能は、EMを推定された部分空間に制約した場合に顕著に向上する。
• 本手法の計算コストは $O(d^3)$ であり、固有値分解が主な負荷を占め、高次元問題においてもスケーラブルである。
• 実験では、推定された残差方向 $\hat{r}$ の追加は不要であった。$\hat{U}$ が既に関連する部分空間を十分に捉えていたため。