[論文レビュー] Additive Non-negative Matrix Factorization for Missing Data

Mithun Das Gupta|arXiv (Cornell University)|Jul 1, 2010

Face and Expression Recognition参考文献 13被引用数 5

ひとこと要約

本稿では、学習データから過完備辞書を学習し、欠損属性の推定値と因子重みを同時に最適化することで、多次元データセットにおける欠損データの補完のために、加法的非負値行列分解（ANMF）を提案する。この手法は、ゼロ補完、平均補完、またはランダム補完と比較して分類精度が優れており、特に欠損率が高い状況下でも、単調収束の保証がある。

ABSTRACT

Non-negative matrix factorization (NMF) has previously been shown to be a useful decomposition for multivariate data. We interpret the factorization in a new way and use it to generate missing attributes from test data. We provide a joint optimization scheme for the missing attributes as well as the NMF factors. We prove the monotonic convergence of our algorithms. We present classification results for cases with missing attributes.

研究の動機と目的

• 非負値行列分解を用いた欠損属性を有するデータの分類課題に取り組む。
• 標準NMFの限界を克服するため、より良い情報符号化が可能な過完備表現（r > d）を扱えるように、加法的NMF（ANMF）を導入する。
• 欠損属性の推定値と因子重みの両方を同時に最適化するフレームワークを構築する。
• 補助関数の最小化により、LeeとSeungの手法を拡張し、アルゴリズムの単調収束を保証する。
• 実世界の欠損データを有するデータセットにおいて、ベースライン補完手法と比較して向上した分類性能を示す。

提案手法

• ANMFを複数の非負値ランク1分解の和として定式化する：$ X = abla_{i=1}^{k} W_i H_i $、これにより再構成誤差の加法的改善が可能になる。
• 射影勾配降下法を用いて、非負性と収束性を保証する $ H_j $ および $ W_j $ の乗法的更新則を導出する。
• 欠損属性が重み行列 $ W $ でゼロに設定されたマスク付き因子分解方式を導入し、観測済みデータのみを用いて隠れ表現 $ extbf{h} $ を最適化する。
• 再構成された $ extbf{h} $ を用いて、$ x_d = W_d extbf{h} $ により欠損属性を推定する。非負値最小二乗の目的関数下で、$ x_d $ と $ extbf{h} $ を同時に最適化する。
• 訓練済みの $ W $ を固定し、テストデータに対して観測成分のみを用いて $ H $ の最適化を行うことで、効率的な補完が可能になる。
• 補助関数を用いて、二乗誤差が単調に減少することを証明し、LeeとSeungの収束証明を加法的かつマスク付き設定に一般化する。

実験結果

リサーチクエスチョン

• RQ1 r > d を満たす加法的NMF（ANMF）は、標準NMFに比べ、欠損データ補完のための表現学習をより良く行えるか？
• RQ2 欠損属性の推定値と因子重みの共同最適化は、標準的な補完戦略と比較して分類性能を向上させるか？
• RQ3 非凸性を有するNMF問題においても、提案手法は単調収束を保証できるか？
• RQ4 30–40%の高い欠損率下で、ANMFはゼロ補完、平均補完、ランダム補完と比較して優れた性能を示すか？
• RQ5 訓練データから学習した過完備辞書は、テストサンプルにおける欠損属性の再構成に効果的に一般化できるか？

主な発見

• WDBCデータセットにおいて30%の欠損データ（ゼロ化）を想定した場合、ANMFは91.91%の分類精度を達成し、ゼロ補完（86.95%）や平均補完を上回った。
• 40%の欠損データの場合、ANMFは87.61%の精度を達成し、ゼロ補完（80.35%）や平均補完（64.16%）を著しく上回った。
• 10%の欠損データの場合、ANMFは95.17%の精度を達成し、ゼロ補完（92.17%）や平均補完（91.30%）を上回った。
• Echoデータセットでは、30%の欠損データ下でもANMFは88.89%の精度を維持し、ベースラインと同等であったが、ゼロ補完は77.78%まで低下した。
• WDBC、Ion、Pima、Echoの複数のデータセットにおいて一貫した改善が確認され、特に高い欠損率下でのロバスト性が裏付けられた。
• 理論的分析により、提案された更新則の下で二乗誤差が非増加であることが証明され、単調収束が保証された。