[論文レビュー] Graph Regularized Non-negative Matrix Factorization By Maximizing Correntropy

Le Li, Jianjun Yang+4 more|arXiv (Cornell University)|May 9, 2014

Face and Expression Recognition参考文献 47被引用数 9

ひとこと要約

本稿では、非負値行列分解（NMF）の新規なグラフ正則化手法を提案し、相関コアリティを最大化することで教師なし画像クラスタリングの性能を向上させる。相関コアリティに基づく誤差測定とグラフ正則化を組み合わせることで、局所的なデータ幾何構造を保持し、特徴量ごとに適応的にカーネルを学習する。Caltech101およびCaltech256データセットにおいて、最先端のNMF変種と比較して、クラスタリング精度と正規化相互情報量（NMI）の両面で優れた性能を達成する。

ABSTRACT

Non-negative matrix factorization (NMF) has proved effective in many clustering and classification tasks. The classic ways to measure the errors between the original and the reconstructed matrix are $l_2$ distance or Kullback-Leibler (KL) divergence. However, nonlinear cases are not properly handled when we use these error measures. As a consequence, alternative measures based on nonlinear kernels, such as correntropy, are proposed. However, the current correntropy-based NMF only targets on the low-level features without considering the intrinsic geometrical distribution of data. In this paper, we propose a new NMF algorithm that preserves local invariance by adding graph regularization into the process of max-correntropy-based matrix factorization. Meanwhile, each feature can learn corresponding kernel from the data. The experiment results of Caltech101 and Caltech256 show the benefits of such combination against other NMF algorithms for the unsupervised image clustering.

研究の動機と目的

• 画像データの非線形構造を捉えるのに不適切な線形誤差測定（$l_2$ や KL 発散）の限界を是正すること。
• 相関コアリティに基づくNMFに、グラフ正則化による幾何構造の保存を統合し、クラスタリング性能を向上させること。
• 因子分解中に各特徴量ごとに適応的カーネル学習を可能とし、表現能力を強化すること。
• 最大相関コアリティとグラフ正則化を統合したNMFにおける収束性を保証する最適化アルゴリズムの開発。
• 提案手法をベンチマーク画像データセットで評価し、既存のNMFアプローチを上回ることを実証すること。

提案手法

• 元の行列 $X$ とその低ランク近似 $H \cdot W$ 間の相関コアリティを最大化する新しいNMF目的関数を定式化する。
• 近隣点グラフを用いたグラフ正則化を導入し、データの局所的不変性と内面的多様体構造を保持する。
• グラフ構築における類似度行列に0-1重み付けを用いることで、実装を簡素化しつつ性能を維持する。
• 乗法的更新則を有する反復的最適化アルゴリズムを導出する。収束が保証され、定常点に収束する。
• 相関コアリティカーネルを介して、各特徴量ごとのカーネルパラメータを自己学習可能とし、データ固有の非線形性に適応する。
• 相関コアリティに基づく誤差最小化と幾何構造の保存を統合した一貫性のあるNMFフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 従来の $l_2$ や KL 発散に基づく手法と比較して、相関コアリティを最大化することでNMFの画像クラスタリング性能が向上するか？
• RQ2 グラフ正則化を組み込むことで、局所的データ幾何構造を保存し、相関コアリティに基づくNMFのクラスタリング精度が向上するか？
• RQ3 提案手法が特徴量固有のカーネルを適応的に学習可能であり、より優れた表現学習が達成できるか？
• RQ4 異なるクラスタ数の下で、提案手法は最先端のNMF変種と比較して、クラスタリング精度とNMIの両面で優れているか？
• RQ5 特に高次元画像データにおいて、クラスタ数の増加に対して本手法のアルゴリズムは頑健であるか？

主な発見

• 提案手法であるMCCGR（最大相関コアリティ・グラフ正則化NMF）は、$K \leq 10$ の範囲でCaltech101およびCaltech256データセットの両方で最高のクラスタリング精度を達成し、他のNMF変種を常に上回る性能を示した。
• 正規化相互情報量（NMI）においても、テストしたすべての $K$ 値でMCCGRが最良の結果を達成し、優れた意味的クラスタリング品質を示した。
• $K > 10$ の場合、すべての手法の精度が低下するが、MCCGRは他と比較して最も頑健で、性能低下が最小限に抑えられた。
• GRNMFとMCC NMFはそれぞれ第2位および第3位を記録し、グラフ正則化と相関コアリティの両方が性能向上に顕著に寄与していることを示した。
• 投影勾配NMF（PG）は、$K$ の増加に伴い性能が急激に低下し、スケーラビリティと適応性の限界が顕著に現れた。
• 各特徴量ごとにカーネルを自己学習可能とする本手法の特徴が、複雑な非線形画像構造を捉える能力を高め、優れた性能を発揮している。