[論文レビュー] Hierarchical Data Representation Model - Multi-layer NMF

Hyun Ah Song, Soo-Young Lee|arXiv (Cornell University)|Jan 27, 2013

Image Retrieval and Classification Techniques参考文献 6被引用数 7

ひとこと要約

本稿では、非滑らかNMF（nsNMF）を複数の層にわたって拡張することで、データ内に埋め込まれた構造的特徴階層を学習する階層的マルチレイヤー非負値行列分解（NMF）モデルを提案する。nsNMFの層を積み重ね、誤差逆伝播を用いて共同最適化することで、文書および画像データにおいて学習された層間特徴関係を通じて意味のある分散表現を捉えることにより、特に少ない特徴数の状況でも分類および再構成性能が優れる。

ABSTRACT

In this paper, we propose a data representation model that demonstrates hierarchical feature learning using nsNMF. We extend unit algorithm into several layers. Experiments with document and image data successfully discovered feature hierarchies. We also prove that proposed method results in much better classification and reconstruction performance, especially for small number of features. feature hierarchies.

研究の動機と目的

• 複雑なデータ内に潜む潜在的特徴構造を明らかにする階層的データ表現モデルの開発。
• 特に少ない数の特徴を用いる場合に分類および再構成性能を向上させること。
• 複数のNMF層に跨る特徴間の関係を学習することで、直感的で解釈可能な特徴階層を明らかにすること。
• 非滑らかNMF（nsNMF）アルゴリズムを、より良い分散表現を得るための深層的でマルチレイヤー構造に拡張すること。

提案手法

• 階層的特徴学習を可能にするために、複数の層に跨って非滑らかNMF（nsNMF）を積み重ねる。
• 各層は、前の層の出力を非線形変換で処理する：$ K^{(l)} = f(H^{(l)} / M^{(l)}) $、ここで $ M^{(l)} $ は1特徴あたりの平均活性値である。
• スパarsity誘導型スムージング行列 $ \mathbf{S} = (1-\theta)\mathbf{I}(k) + \frac{\theta}{k}\mathbf{ones}(k) $ を用いて特徴を交互最適化し、パrameter $ \theta $ がスパarsityを制御する。
• 初期層の重みは別個に学習した後、最終層からの再構成誤差を前方に逆伝播する共同コスト関数を用いて、全ネットワークを共同で微調整する。
• 共同学習後、最終表現 $ \mathbf{H}^{(L)} $ は $ \mathbf{W}^{(1)}\mathbf{W}^{(2)}\cdots\mathbf{W}^{(L)} $ を通じて階層的特徴統合を反映する。
• 再構成誤差は逆非線形関数を用いて逆伝播される：$ \widetilde{\mathbf{H}^{(l)}} \approx \mathbf{M}^{(l)} \odot f^{-1}(\mathbf{W}^{(l+1)}\widetilde{\mathbf{H}^{(l+1)}}) $。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤーNMFアーキテクチャは、文書および画像データにおいて解釈可能で直感的な特徴階層を明らかにできるか？
• RQ2 積み重ねられたnsNMFによる階層的特徴学習は、単層NMFと比較して分類および再構成性能を向上させるか？
• RQ3 本手法は、低次元特徴表現下、特に特徴数が少ない状況でどのように性能を発揮するか？
• RQ4 より深い層で学習された特徴は、低レベル特徴の意味のある組み合わせをどの程度反映しているか？

主な発見

• 階層的マルチレイヤーNMFモデルは、Reuters-21578データセットにおいて、『石油生産』、『石油契約』、『石油精製プロセス』といったサブカテゴリが『石油』という広義のカテゴリにグループ化される関係を効果的に発見した。
• Reutersデータセットにおいて、本手法は特に160未満の特徴数を用いる場合に、単層NMFと比較して顕著に低い再構成誤差と高い分類精度を達成した。
• MNISTデータセットでは、本手法がより優れた再構成品質と明確なクラス分離性を示した。最終表現のフィッシャー判別値は0.61であり、浅層ネットワークの0.51と比較して優れている。
• PCAを用いた最終表現 $ \mathbf{H}^{(L)} $ の可視化では、異なる数字クラスに対してより凝集的かつ明確なパターンが得られ、より優れた分散表現であることが示された。
• 本手法は、次元が低い空間でも高い性能を維持しており、最小限の特徴数でデータ構造を効果的に保持できることを実証した。