[論文レビュー] A deep matrix factorization method for learning attribute representations

George Trigeorgis, Konstantinos Bousmalis+2 more|arXiv (Cornell University)|Sep 10, 2015

Face and Expression Recognition参考文献 33被引用数 4

ひとこと要約

本稿では、複数層の非負値因子分解を用いて潜在的属性を段階的にモデル化することで、クラスタリングおよび分類の性能を向上させる、階層的で低次元の表現を学習する深層行列因子分解モデル「Deep Semi-NMF」を提案する。さらに、グラフ正則化を用いて部分的な属性ラベルを活用する弱教師あり変種「Deep WSF」を導入し、ラベルが限られた半教師あり設定においても、最先端の手法を上回る性能を発揮した。特に顔のクラスタリングおよび分類タスクで顕著な向上を示した。

ABSTRACT

Semi-Non-negative Matrix Factorization is a technique that learns a low-dimensional representation of a dataset that lends itself to a clustering interpretation. It is possible that the mapping between this new representation and our original data matrix contains rather complex hierarchical information with implicit lower-level hidden attributes, that classical one level clustering methodologies can not interpret. In this work we propose a novel model, Deep Semi-NMF, that is able to learn such hidden representations that allow themselves to an interpretation of clustering according to different, unknown attributes of a given dataset. We also present a semi-supervised version of the algorithm, named Deep WSF, that allows the use of (partial) prior information for each of the known attributes of a dataset, that allows the model to be used on datasets with mixed attribute knowledge. Finally, we show that our models are able to learn low-dimensional representations that are better suited for clustering, but also classification, outperforming Semi-Non-negative Matrix Factorization, but also other state-of-the-art methodologies variants.

研究の動機と目的

• データ内の複雑で階層的な属性構造を捉えるために、単層行列因子分解の限界を克服すること。
• クラスタリングの解釈可能性を向上させるために、複数の隠れ表現のレベルを学習する教師なし深層アーキテクチャを開発すること。
• 部分的な属性ラベルを要因分解プロセスに組み込み、ラベルが限られた半教師あり設定での特徴学習を向上させること。
• 深層因子分解が、顔属性のクラスタリングおよび分類において、標準的NMFおよびSemi-NMFよりも優れた表現を生成することを実証すること。
• Deep WSFによる事前学習が、教師なし設定における下流のクラスタリング性能を向上させることを示すこと。

提案手法

• データ行列 X を複数層の要因 Z と H に因子分解する深層アーキテクチャ「Deep Semi-NMF」を提案し、各層がデータの隠れ属性における段階的抽象化を表すように設計する。
• 非線形な深層モデルを用いて、非線形に分離不能なデータを線形に分離可能な空間に写像することで、より良いクラスタリングを実現する。
• Deep WSF の変種では、グラフ正則化を適用して既知の属性からの部分的なラベル情報を組み込み、特徴学習を向上させる。
• H 要因に非負性制約を課しつつ、Z と X では符号の混合を許容する非負性制約付きの交互最小二乗法を用いてモデルを最適化する。
• ポーズ、表情、アイデンティティの属性に対応する3層の多層構造を採用し、それぞれがその属性の表現を学習するように訓練する。
• CMU Multi-PIE データセット上で、C=1 のSVMを用いて学習済み特徴の評価を実施し、モデル間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層行列因子分解モデルは、単層手法に比べて、データ内の潜在的属性をより効果的に階層的表現として学習できるか？
• RQ2 グラフ正則化を用いて部分的な属性ラベルを組み込むことで、クラスタリングおよび分類のための学習表現の質が向上するか？
• RQ3 Deep WSF モデルが Deep Semi-NMF モデルの事前学習に用いられ、ラベルなしデータ上のクラスタリング性能が向上するか？
• RQ4 Deep Semi-NMF および Deep WSF の性能は、顔属性のクラスタリングおよび分類において、最先端のNMF変種と比較して優れているか？
• RQ5 深層アーキテクチャは、非線形なデータ分布において、特徴の分離性をどの程度向上させるか？

主な発見

• Deep Semi-NMF は CMU Multi-PIE データセットでアイデンティティクラスタリングにおいて 61.22% の精度を達成し、Semi-NMF（36.46%）および標準的NMF（49.12%）を上回った。
• Deep WSF はアイデンティティ分類で 65.17% の精度を達成し、次に優れた手法（WSF-MA で 64.08%）およびすべての教師なしベースラインを上回った。
• Deep WSF はポーズ分類で 82.90%、表情分類で 81.50% の精度を示し、Deep Semi-NMF の 81.50% および 80.54% を上回った。
• Deep WSF からの重みを用いた Deep Semi-NMF モデルの事前学習により、クラスタリング性能が向上し、学習済み特徴の転送性を示した。
• 深層アーキテクチャは、浅い因子分解モデルに比べて、クラスタリングおよび分類に適した表現を効果的に学習した。
• Deep WSF におけるグラフ正則化により、部分的な属性ラベルを効果的に活用でき、完全に教師なしのモデルに比べて優れた特徴学習が実現した。