[論文レビュー] Deeply Coupled Auto-encoder Networks for Cross-view Classification

Wen Wang, Zhen Cui+3 more|arXiv (Cornell University)|Feb 10, 2014

Image Processing Techniques and Applications参考文献 27被引用数 27

ひとこと要約

本稿では、最大マージン基準を用いて非線形的で判別性があり、共有される表現を異種画像ビュー（例：写真とスケッチ）間で同時に学習する、深層自己符号化器ネットワーク（DCAN）を提案する。DCANは、判別的でカップルドされた自己符号化器を積み重ねたフレームワークであり、写真とスケッチのデータセットにおいて、先行手法と比較してクロスビュー認識精度を6%以上向上させ、最先端の性能を達成した。

ABSTRACT

The comparison of heterogeneous samples extensively exists in many applications, especially in the task of image classification. In this paper, we propose a simple but effective coupled neural network, called Deeply Coupled Autoencoder Networks (DCAN), which seeks to build two deep neural networks, coupled with each other in every corresponding layers. In DCAN, each deep structure is developed via stacking multiple discriminative coupled auto-encoders, a denoising auto-encoder trained with maximum margin criterion consisting of intra-class compactness and inter-class penalty. This single layer component makes our model simultaneously preserve the local consistency and enhance its discriminative capability. With increasing number of layers, the coupled networks can gradually narrow the gap between the two views. Extensive experiments on cross-view image classification tasks demonstrate the superiority of our method over state-of-the-art methods.

研究の動機と目的

• 同じ意味的クラスに属するが、顕著に異なる特徴空間に存在する異種画像サンプル（例：異なるポーズ、照明、または写真やスケッチなどのモodal）の分類課題に対処すること。
• 線形手法（CCA や PLS）の限界を克服すること。これらの手法はガウス分布を仮定しており、現実のビジョンタスクにおける複雑な非線形データ構造を捉えることができない。
• エンドツーエンドの学習により、局所的データ構造の保持と、複数のビュー間での判別力の向上を同時に実現する深層学習フレームワークを開発すること。
• 2つのビュー固有のネットワークを段階的に結合することで、共有され、低次元で判別的な表現を学習し、効果的なクロスビュー分類を可能にすること。

提案手法

• DCANは、各ビューごとに1つの深層ニューラルネットワークを構築し、対応する層を共有重み制約と共同最適化で結合する。
• 各層は、判別的でカップルドされた自己符号化器である。これは、最大マージン基準を用いて訓練されたノイズ除去自己符号化器であり、クラス内での密集性とクラス間の分離性を強制する。
• 最大マージン基準は、両方のビューからの対応する隠れ表現に同時に適用され、同じクラスに属するサンプルが共有空間内で引き寄せられるように保証される。
• 複数のこのような層を積み重ねることで、段階的で非線形な特徴学習が可能となり、徐々にビュー間のドメインギャップが縮小される。
• バックプロパゲーションを用いてエンドツーエンドで学習され、再構成誤差とマージン損失を同時に最小化する。
• 多様体回復の性質により理論的に裏付けられ、自己符号化器学習により局所的近傍構造が保持される。

実験結果

リサーチクエスチョン

• RQ1 深くカップルドされた自己符号化器アーキテクチャは、従来の線形手法よりもクロスビュー画像分類で優れた性能を発揮できるか？
• RQ2 各自己符号化器層に最大マージン基準を組み込むことで、共有表現学習における判別力が向上するか？
• RQ3 複数のカップルド層を積み重ねることで、クロスビュー特徴アライメントの性能とロバストネスにどのような影響を与えるか？
• RQ4 提案手法は、非線形的で判別的な表現を学習する過程で、局所的データ構造をどの程度保持できるか？

主な発見

• CMU-PIEデータセットにおいて、3層積み重ねたDCANはランク1認識率88.4%を達成し、MvDA（86.7%）やCSR（81.4%）といった最先端手法を顕著に上回った。
• CUFSFのフォトスケッチデータセットでは、DCAN-3はスケッチからフォトへの認識で平均正解率65.2%を達成し、次善の手法（CSR：59.0%）と比較して6.2%の向上を示した。
• 最大マージン基準を用いることで、単一層ネットワークでもFDAよりも1.6%の正解率向上が得られ、判別力の向上に有効であることが示された。
• DCAN-2はスケッチからフォトへの認識で60.3%の正解率を達成し、深層アーキテクチャが浅層アーキテクチャに比べて顕著に性能を向上させることを示した。
• モデルは強い局所的近傍構造の保持を維持しており、学習済み表現において1番目の近傍の99.43%が保持された。これは、局所的構造回復の優れた性能を示している。
• 4層にまで増加させた場合、出力次元が10Dにまで過剰に削減され、性能が低下した。これは、このアーキテクチャにおいて最適な深さが存在することを示唆している。