[論文レビュー] Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction

Youngmin Cho, Lawrence K. Saul|arXiv (Cornell University)|Dec 16, 2011

Face and Expression Recognition参考文献 26被引用数 10

ひとこと要約

本稿では、ラベル付きデータを次元削減に統合することで分類に関連する成分を保持する半教師あり非負値行列分解（NMF）手法を提案する。この手法は、大マージン分類器を用いて特定された分類に関連する成分を保持する。乗法的更新則を用いることで収束を保証し、下流の線形分類タスクにおいて、教師なしNMFおよび標準SVMよりも優れた性能を示す。多くの場合、元の入力空間における通常のSVMおよび伝達的SVMよりも高い精度を達成する。

ABSTRACT

We show how to incorporate information from labeled examples into nonnegative matrix factorization (NMF), a popular unsupervised learning algorithm for dimensionality reduction. In addition to mapping the data into a space of lower dimensionality, our approach aims to preserve the nonnegative components of the data that are important for classification. We identify these components from the support vectors of large-margin classifiers and derive iterative updates to preserve them in a semi-supervised version of NMF. These updates have a simple multiplicative form like their unsupervised counterparts; they are also guaranteed at each iteration to decrease their loss function---a weighted sum of I-divergences that captures the trade-off between unsupervised and supervised learning. We evaluate these updates for dimensionality reduction when they are used as a precursor to linear classification. In this role, we find that they yield much better performance than their unsupervised counterparts. We also find one unexpected benefit of the low dimensional representations discovered by our approach: often they yield more accurate classifiers than both ordinary and transductive SVMs trained in the original input space.

研究の動機と目的

• ラベル付き例を統合することで非負値行列分解（NMF）を改善し、より良い半教師あり次元削減を実現すること。
• 大マージン分類器からのサポートベクトルを活用することで、分類に重要な非負成分を保持すること。
• 教師なし学習と教師あり学習の目的関数をバランスさせる収束保証付きの乗法的更新則を開発すること。
• 線形分類の前処理としての手法の性能を評価し、教師なしNMFおよび標準SVMと比較すること。

提案手法

• ラベル付きデータ上で訓練された大マージン分類器からのサポートベクトルを用いて、分類に関連する成分を同定する。
• 再構成誤差（教師なし）と分類忠実度（教師あり）の両方をバランスさせる重み付きI発散の和を損失関数として定式化する。
• 損失関数を最小化するための乗法的更新則を導出する。これにより、因子分解中に同定された非負成分が保持される。
• 更新則は各反復で損失関数を減少させることを保証し、収束を確保する。
• アルゴリズムは教師あり設定で動作し、因子分解中にラベル付きデータとラベルなしデータの両方を用いる。
• 得られた低次元表現を線形分類器の入力として用い、評価を行う。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータを統合することで、非負値行列分解が半教師あり学習に効果的に拡張可能か？
• RQ2 NMF因子分解中に分類に関連する成分をどのように同定し、保持できるか？
• RQ3 提案手法が、教師なしNMFと比較して、より低い次元の表現を生成し、線形分類性能を向上させるか？
• RQ4 元の入力空間で使用された場合、半教師ありNMFは標準SVMおよび伝達的SVMを上回る性能を示せるか？

主な発見

• 提案された半教師ありNMF手法は、前処理として用いた場合、教師なしNMFと比較して分類精度を顕著に向上させる。
• 本手法が学習する低次元表現は、元の入力空間で直接訓練された通常のSVMおよび伝達的SVMよりも、しばしば優れた分類器を生成する。
• 乗法的更新則は各反復で損失関数を減少させることを保証しており、収束を確実にする。
• 大マージン分類器からのサポートベクトルを用いることで、分類に重要とされる非負成分を効果的に保持している。
• 重み付きI発散損失関数を用いることで、教師なしデータ再構成と教師あり分類性能の間で良好なトレードオフを達成している。
• 実験結果により、複数のデータセットにおいて、半教師ありNMFが教師なしバージョンを一貫して上回ることが示された。