[論文レビュー] Learning the Hierarchical Parts of Objects by Deep Non-Smooth Nonnegative Matrix Factorization

Jinshi Yu, Guoxu Zhou+2 more|arXiv (Cornell University)|Mar 20, 2018

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 3

ひとこと要約

この論文は、非滑らかNMF（nsNMF）を階層的で深く学習可能な構造に拡張した、深層非滑らか非負値行列分解（dnsNMF）を提案する。複数の層をスタックすることで、部分ベースの特徴と、次第に抽象化された特徴を学習可能となる。nsNMFの非負性とスパarsity制御を深層アーキテクチャと統合することで、データの忠実度を保ちながら顔データセットにおいて優れたクラスタリング性能を達成する。

ABSTRACT

Nonsmooth Nonnegative Matrix Factorization (nsNMF) is capable of producing more localized, less overlapped feature representations than other variants of NMF while keeping satisfactory fit to data. However, nsNMF as well as other existing NMF methods is incompetent to learn hierarchical features of complex data due to its shallow structure. To fill this gap, we propose a deep nsNMF method coined by the fact that it possesses a deeper architecture compared with standard nsNMF. The deep nsNMF not only gives parts-based features due to the nonnegativity constraints, but also creates higher-level, more abstract features by combing lower-level ones. The in-depth description of how deep architecture can help to efficiently discover abstract features in dnsNMF is presented. And we also show that the deep nsNMF has close relationship with the deep autoencoder, suggesting that the proposed model inherits the major advantages from both deep learning and NMF. Extensive experiments demonstrate the standout performance of the proposed method in clustering analysis.

研究の動機と目的

• 複雑なデータの階層的・抽象的特徴を学習する能力に制限を受ける浅いnsNMFの課題を解決すること。
• 従来のNMF変種に内在するスパarsityとデータ適合性のトレードオフを克服すること。
• nsNMFの非負性とスパarsityの利点を保ちつつ、多段階の抽象化を可能にする深層アーキテクチャを開発すること。
• dnsNMFと深層オートエンコーダーの間の理論的・実験的関連を確立すること。
• nsNMF構造の深さを増すことで、教師なし表現学習の有効性を示すこと。

提案手法

• 非滑らかNMF（nsNMF）の複数層をスタックした深層アーキテクチャを提案。各層は平滑化行列Sを用いたnsNMFモデルを適用する。
• 階層的分解：X ≈ Z₁(S₁Z₂(S₂…ZₖHₖ)…) を用い、多段階の特徴抽象化を実現する。
• すべての因子行列（Zᵢ, Hᵢ, Sᵢ）に対して乗法的更新則を採用し、非負性と収束性を保証する。
• 目的関数の勾配のリプシッツ連続性の証明を導入し、安定した最適化を支援する。
• dnsNMFと制限付き深層オートエンコーダーの理論的同等性を確立し、深層学習の原則と結びつける。
• 最適化の改善を目的に、グリーディな層ごとの事前学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層アーキテクチャは、低レベルの部分を越えて階層的・抽象的特徴を学習するnsNMFの能力を向上させるか？
• RQ2 ネットワークの深さは、dnsNMFにおけるクラスタリング性能と特徴抽象化にどのように影響するか？
• RQ3 dnsNMFと深層オートエンコーダーの関係は何か？この関係は、その表現力の背後にある要因を説明できるか？
• RQ4 dnsNMFは、特徴行列と表現行列の両方で高いスパarsityを達成しながらも、高いデータ適合精度を維持できるか？
• RQ5 実世界の応用において、クラスタリング精度と計算効率のバランスを取る最適な深さは何か？

主な発見

• 標準的および浅いnsNMFと比較して、AT&T ORL、JAFFE、Yale顔データセットにおいて、dnsNMFは顕著に高いクラスタリング精度を達成する。
• クラスタリング精度は深さが増すに従い、一定の点（例：深さ3〜5）まで向上するが、その後は変化が小さくなり、限界に達することが示された。
• 平滑化行列Sによる非滑らか正則化のおかげで、標準NMFや他の変種と比較して、より高いスパarsityと重複の少ない特徴を達成する。
• 理論的分析により、dnsNMFの目的関数の勾配がリプシッツ連続であることが確認され、安定した最適化を支援する。
• dnsNMFは数学的に制限付き深層オートエンコーダーと同等であることが示され、深層学習とNMFの両方の利点を統合している可能性を示唆する。
• 実験により、N-NMF、ディープセミ-NMF、SDNMFといった既存の深層NMF手法を上回るクラスタリング性能をdnsNMFが示した。