[論文レビュー] Image Representation Learning Using Graph Regularized Auto-Encoders

Yiyi Liao, Yue Wang+1 more|arXiv (Cornell University)|Dec 3, 2013

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 4

ひとこと要約

本論文は、高次元画像データからの重要な意味的・構造的情報を保持する低次元で局所的に不変な画像表現を学習するため、深層オートエンコーダと局所的近傍構造を保持するグラフ正則化子を組み合わせたグラフ正則化オートエンコーダ（GAE）を提案する。本手法は、教師ありおよび教師ありでない両設定下で、ORL、Yale、COIL20データセットにおける画像クラスタリングタスクで最先端の性能を達成した。

ABSTRACT

We consider the problem of image representation for the tasks of unsupervised learning and semi-supervised learning. In those learning tasks, the raw image vectors may not provide enough representation for their intrinsic structures due to their highly dense feature space. To overcome this problem, the raw image vectors should be mapped to a proper representation space which can capture the latent structure of the original data and represent the data explicitly for further learning tasks such as clustering. Inspired by the recent research works on deep neural network and representation learning, in this paper, we introduce the multiple-layer auto-encoder into image representation, we also apply the locally invariant ideal to our image representation with auto-encoders and propose a novel method, called Graph regularized Auto-Encoder (GAE). GAE can provide a compact representation which uncovers the hidden semantics and simultaneously respects the intrinsic geometric structure. Extensive experiments on image clustering show encouraging results of the proposed algorithm in comparison to the state-of-the-art algorithms on real-word cases.

研究の動機と目的

• 高次元画像データから、本質的な意味的・構造的情報を保持する低次元画像表現を学ぶという課題に対処すること。
• 局所幾何的構造をグラフ正則化を用いて組み込むことで、教師ありおよび教師ありでない画像表現学習を向上させること。
• 入力空間から表現空間への近傍関係を保持する局所不変性を維持する深層非線形マッピング手法を考案すること。
• 画像クラスタリングタスクにおいて、既存の深層表現学習法および局所不変手法を上回ること。
• 完全にラベル付きおよび部分的にラベル付きの状況下で、グラフ正則化および深層アーキテクチャが表現品質に与える影響を調査すること。

提案手法

• 入力画像Xの非線形かつ低次元の表現Hを学習するため、複数層の深層オートエンコーダを用いる。ここでH ∈ ℝ^{l×n} かつ l < m である。
• 局所不変性を強制するため、グラフ正則化子を適用する。これにより、表現Hは元のデータ多様体の局所的オイラー幾何を保持し、近傍関係が維持される。
• 入力データX上にK近傍（KNN）グラフを構築し、局所的近傍を定義する。エッジ重みは類似度（例：ガウス径数基底関数）に基づく。
• 教師あり設定では、ラベル付きデータを組み込む半分グラフ正則化子を導入し、ラベル付き点とその近傍を結ぶエッジに高い重みを割り当てる。
• 再構成誤差（||X - Q||²）と、局所構造からの逸脱をペナルティ化するグラフ正則化項の合算された損失関数を最適化することでオートエンコーダを最適化する。
• グリッドサーチを用いてハイパーパrameter（λ：グラフ正則化強度、k：KNNのk）を調整し、クラスタリング性能を最大化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なオートエンコーダと比較して、局所的多様体構造を保持するグラフ正則化を施した深層オートエンコーダは、より判別力のある画像表現を学習できるか？
• RQ2 グラフ正則化による局所幾何的制約の組み込みが、教師あり画像表現学習におけるクラスタリング性能にどのように寄与するか？
• RQ3 半分グラフ正則化を用いてラベル付きデータを統合することで、教師あり設定下での表現学習がどの程度向上するか？
• RQ4 クラスタリング精度および相互情報量の観点から、本手法のGAEはCNMFやスパース／ノイズ除去オートエンコーダといった最先端手法をどのように上回るか？
• RQ5 アーキテクチャの深さとグラフ正則化が、学習された画像表現の品質に与える影響は何か？

主な発見

• ORLデータセットでは、40個のラベル付きサンプルを用いた教師あり学習で、GAEは平均クラスタリング正解率0.8163および相互情報量0.8923を達成し、CNMF（AC: 0.7140、MI: 0.8050）を上回った。
• Yaleデータセットでは、15個のラベル付きサンプルを用いた教師あり学習で、GAEは相互情報量0.6547および正解率0.6828を達成し、CNMF（MI: 0.5704、AC: 0.6120）を顕著に上回った。
• COIL20データセットでは、20個のラベル付きサンプルを用いた教師あり学習で、GAEは相互情報量0.9109および正解率0.8961を達成し、CNMF（MI: 0.7728、AC: 0.7270）を上回った。
• 教師なしクラスタリングでは、GAEはORLで平均正解率0.7203、Yaleで0.6944、COIL20で0.7461を達成し、最先端手法と同等の性能を示した。
• 教師ありGAEは、常に教師なしバージョンを上回った。これは、ラベル付きデータとグラフ正則化を組み合わせることで表現学習が向上することを示している。
• アブレーションスタディにより、グラフ正則化が局所構造を保持することで性能が顕著に向上することが確認された。特にラベル付きデータが少ない状況で顕著であった。