[論文レビュー] Learning Generative Models with Visual Attention

Yichuan Tang, Nitish Srivastava+1 more|arXiv (Cornell University)|Dec 20, 2013

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 86

ひとこと要約

本論文では、手動でのクロッピングが不要な大規模で未整理されたシーンから顔画像の局所化と生成を学習するアテンションベースの深層生成モデルを提案する。畳み込みニューラルネットワーク（ConvNet）による近似的な推論とハミルトニアン・モンテカルロ（HMC）サンプリングを組み合わせることで、モデルは物体領域に動的に注目し、局所化ラベルが欠如している訓練データでも、顔データセットにおいて最先端の生成性能を達成する。

ABSTRACT

Attention has long been proposed by psychologists as important for effectively dealing with the enormous sensory stimulus available in the neocortex. Inspired by the visual attention models in computational neuroscience and the need of object-centric data for generative models, we describe for generative learning framework using attentional mechanisms. Attentional mechanisms can propagate signals from region of interest in a scene to an aligned canonical representation, where generative modeling takes place. By ignoring background clutter, generative models can concentrate their resources on the object of interest. Our model is a proper graphical model where the 2D Similarity transformation is a part of the top-down process. A ConvNet is employed to provide good initializations during posterior inference which is based on Hamiltonian Monte Carlo. Upon learning images of faces, our model can robustly attend to face regions of novel test subjects. More importantly, our model can learn generative models of new faces from a novel dataset of large images where the face locations are not known.

研究の動機と目的

• 物体の位置が不明である大規模で未整理された画像で生成モデルを訓練する課題に対処すること。
• 関連する視覚的特徴を標準化された表現に動的にルーティングすることで、オブジェクト中心の生成モデルを実現すること。
• 高品質な学習に必要な整理されたクロップ済みデータを必要とする従来の生成モデルの限界を克服すること。
• 視覚神経科学にインspiredされたアテンション機構を統合し、背景の雑音や隠蔽に強くする。
• 弱い教師信号またはラベルなしで、生の高スケール画像からエンド・ツー・エンドに生成モデルを学習する可能性を実証すること。

提案手法

• 可視ユニットにおける複雑なデータ分布を捉えるために、ガウス型制限ボルツマンマシン（GRBM）をコアな生成モデルとして使用する。
• 2次元の類似変換（スケーリング、回転、平行移動）を用いて、注目領域の特徴を標準化されたオブジェクト表現に整列させる。
• 画像内の注目位置（u）を推定するために、事後分布の初期化を提供する畳み込みニューラルネットワーク（ConvNet）を訓練する。
• 注目位置と隠れ変数の複雑な事後分布を探索するために、ハミルトニアン・モンテカルロ（HMC）サンプリングを適用する。
• 2段階の訓練プロセスを採用する：まずラベル付きデータ（例：CMU顔データの10％）でConvNetを事前学習し、その後推論された注目位置を用いて生成モデルをファインチューニングする。
• 変分下界とアニーリング重要度サンプリング（AIS）を用いて、モデルの対数尤度を推定し、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、手動でのオブジェクト局所化なしに、大規模で未整理された画像から深層生成モデルが学習できるか？
• RQ2 ConvNetによる近似的な推論とHMCによるサンプリングを組み合わせたハイブリッド手法は、複雑な事後分布をどれほど効果的にモデル化できるか？
• RQ3 物体の位置が不明な状態で、1つのデータセット（例：Caltech）で学習した生成モデルが、別のデータセット（例：CMU）にどの程度一般化できるか？
• RQ4 標準化されたオブジェクト表現に条件付けたアテンション機構は、局所化の正確性と生成品質を向上させるか？
• RQ5 標準化された顔を変化させた場合、モデルは1枚の画像に複数の顔に着実に注目できるか？

主な発見

• 手動のラベルなしで推論された注目位置を用いて訓練した場合、CMUの検証セットで1テスト画像あたり387 natsの変分下界を達成した。これは、Caltechデータでのみ学習した場合の85 natsから顕著に向上した。
• 完全な教師信号（手動の局所化ラベル）を用いた場合、1画像あたり503 natsに達し、弱教師あり学習が完全教師あり性能に近づく可能性を示した。
• CMUデータでのファインチューニング後に生成されたサンプルは、Caltechのみで学習したモデルに比べて顕著に多様性と現実性に優れていた。
• 同じ初期の注目位置であっても、条件付けられた標準化された顔に応じて、アテンション機構がシーン内の異なる顔に着実に焦点を移すことができた。
• モデルは、複雑な背景や隠蔽がある新しいテスト画像においても顔を着実に局所化でき、事前のクロッピングを一切必要としなかった。
• ConvNetによる近似的な推論とHMCサンプリングの組み合わせにより、高次元の事後分布の有効な探索が可能になり、安定的かつ高品質な生成結果が得られた。