[論文レビュー] Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering

Yuning Qiu, Guoxu Zhou+1 more|arXiv (Cornell University)|Nov 20, 2017

Face and Expression Recognition参考文献 20被引用数 10

ひとこと要約

本稿では、階層的で低次元的かつスパースな表現を学習し、クラスタリングを向上させるために、複数の層にわたり非負性および近似的な直交性を強制する、深層行列分解の新規手法であるDeep Approximately Orthogonal Nonnegative Matrix Factorization（DAONMF）を提案する。直交性ペナルティを用いた深層アーキテクチャの微調整により、最先端の単層および深層NMF手法と比較して、顔画像データセットにおいて優れたクラスタリング性能を達成する。

ABSTRACT

Nonnegative Matrix Factorization (NMF) is a widely used technique for data representation. Inspired by the expressive power of deep learning, several NMF variants equipped with deep architectures have been proposed. However, these methods mostly use the only nonnegativity while ignoring task-specific features of data. In this paper, we propose a novel deep approximately orthogonal nonnegative matrix factorization method where both nonnegativity and orthogonality are imposed with the aim to perform a hierarchical clustering by using different level of abstractions of data. Experiment on two face image datasets showed that the proposed method achieved better clustering performance than other deep matrix factorization methods and state-of-the-art single layer NMF variants.

研究の動機と目的

• 既存の深層行列因子分解手法が非負性にのみ依存し、直交性のようなタスク固有の構造的制約を無視するという限界に対処すること。
• 直交性の強制を伴う深層アーキテクチャを通じて、階層的で抽象的かつ低次元の表現を学習し、クラスタリング性能を向上させること。
• 複数の層にわたり非直交成分のペナルティを課すことで、近似的な直交性を深層NMFに統合すること。
• 深層的で近似的に直交する因子分解が、標準的または単層NMFの変種よりも優れたクラスタリングをもたらすことを示すこと。

提案手法

• 本手法は、深層セミNMFを拡張し、マッピング行列Wを層間で階層的に因子分解することで、データ特徴のより深い抽象化を可能にする。
• 各層のH行列に近似的な直交性ペナルティを導入し、正則化パrameter λ で制御することで、冗長性を低減し、クラスタの明確性を向上させる。
• 非負性を射影によって強制しながら、WとHを反復的に更新するブロック座標降下法を用いた修正されたHALSアルゴリズムを最適化に用いる。
• ラグランジュ関数に基づく閉形式の更新ルールを導出し、直交性制約を組み込んだ交替的WとHの更新により、微調整を実行する。
• 2段階のプロセスを採用する：初期段階では層単位のAONMF初期化を行い、その後、層間の依存関係を考慮した全層の反復的精錬を行う。
• 最終的なH行列の列を正規化することで、L2ノルムが1になるようにし、最後の層での直交性を促進する。

実験結果

リサーチクエスチョン

• RQ1 深層NMFフレームワークにおいて、複数の層にわたり近似的な直交性を強制することで、標準的または浅層NMF手法よりもクラスタリング性能が向上するか？
• RQ2 H行列だけでなくW行列の階層的因子分解が、クラスタリングのための高レベル特徴の抽象化を向上させるか？
• RQ3 直交性制約の統合が、深層行列因子分解における学習済み表現のスパarsityおよび特徴の明確さにどのように影響するか？
• RQ4 深層行列因子分解の性能は、より深い層におけるコンポonent数の変更に敏感であるか？また、単層手法と比較してどうなるか？

主な発見

• CMU PIEデータセットにおいて、DAONMFは単層AONMFおよびDeep Semi-NMFの両方と比較して、より高いクラスタリング精度（ACC）および正規化相互情報量（NMI）を達成した。
• Extended Yale Bデータセットでは、DAONMFはDeep Semi-NMFを上回り、全テストコンポonent数においてAONMFと同等またはそれを上回るクラスタリング性能を示した。
• 本手法は、直交性制約付きのより深い表現が、より判別力があり冗長性の少ない特徴をもたらし、クラスタリング結果を向上させることを示した。
• 多層NMFではコンポonent数の増加に伴い性能が低下する傾向を示したが、単層AONMFは性能を維持または向上させた。これは、特定の状況下で単層AONMFのコンポonent数に対するロバストネスを示している。
• 層単位の直交性ペナルティによる微調整は、データセット全体でACCおよびNMIに一貫した向上をもたらした。これは、特徴の抽象化が著しく向上したことを裏付けている。