[論文レビュー] Unsupervised Learning of Visual Structure using Predictive Generative Networks

William Lotter, Gabriel Kreiman+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Vision and Imaging参考文献 34被引用数 82

ひとこと要約

本論文では、予測損失を用いて将来の動画フレームを予測するように訓練されたCNN-LSTM-deCNNアーキテクチャを提案しており、このような自己教師あり学習が、潜在的な3次元オブジェクト構造の豊かな分離可能表現を学習することを示している。ピクセルレベルの予測のみで訓練されているにもかかわらず、モデルは変換に強い特徴を学習し、再構成損失で訓練されたモデルと比較して、静的画像分類などの下流タスクにおいて優れた一般化性能を示している。

ABSTRACT

The ability to predict future states of the environment is a central pillar of intelligence. At its core, effective prediction requires an internal model of the world and an understanding of the rules by which the world changes. Here, we explore the internal models developed by deep neural networks trained using a loss based on predicting future frames in synthetic video sequences, using a CNN-LSTM-deCNN framework. We first show that this architecture can achieve excellent performance in visual sequence prediction tasks, including state-of-the-art performance in a standard 'bouncing balls' dataset (Sutskever et al., 2009). Using a weighted mean-squared error and adversarial loss (Goodfellow et al., 2014), the same architecture successfully extrapolates out-of-the-plane rotations of computer-generated faces. Furthermore, despite being trained end-to-end to predict only pixel-level information, our Predictive Generative Networks learn a representation of the latent structure of the underlying three-dimensional objects themselves. Importantly, we find that this representation is naturally tolerant to object transformations, and generalizes well to new tasks, such as classification of static images. Similar models trained solely with a reconstruction loss fail to generalize as effectively. We argue that prediction can serve as a powerful unsupervised loss for learning rich internal representations of high-level object features.

研究の動機と目的

• 予測型動画生成が、視覚的構造の豊かな内部表現を学習する強力な自己教師あり学習フレームワークとして機能するかどうかを調査すること。
• 将来のフレーム予測で訓練されたモデルが、潜在的な3次元オブジェクトの分離可能で変換不変な特徴を学習するかどうかを評価すること。
• 下流の分類タスクにおける予測型モデルと再構成ベースのオートエンコーダーの一般化性能を比較すること。
• 平均二乗誤差（MSE）と敵対的損失（AL）を組み合わせることで、予測品質と表現学習に与える影響を評価すること。
• 動的刺激から学習した表現が、特に少サンプル条件下で静的画像認識に一般化できるかどうかをテストすること。

提案手法

• モデルは、入力フレームの系列から将来の動画フレームを予測するため、エンコーダ-再帰型-デコーダー構造のCNN-LSTM-deCNNアーキテクチャを用いる。
• 予測のリアルさと忠実度を向上させるために、平均二乗誤差（MSE）と敵対的損失（AL）の組み合わせを用いてエンドツーエンドで訓練する。
• 予測損失は、ネットワークが時間的ダイナミクスと構造的不変性を捉える内部の世界モデルを学習するように促進する。
• LSTMの隠れ状態から表現を抽出し、SVMを用いた静的顔認識タスクで評価する。
• 制御用モデルは、静的または動的フレーム上で再構成損失で訓練され、LSTMを含むか含まないオートエンコーダー構造を用いる。
• モデルは、物理ベースの「跳ねるボール」と3次元構造を持つコンピュータ生成顔の回転を模倣する合成データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 将来の動画フレームを予測することに特化して訓練された深層ニューラルネットワークが、潜在的な3次元オブジェクト構造の分離可能表現を学習できるか？
• RQ2 再構成ベースの学習と比較して、予測型学習は変換に強い特徴を学習する上でどのように異なるか？
• RQ3 予測損失が、静的画像分類などの下流タスクへの一般化性能を向上させるか？
• RQ4 MSEと敵対的損失（AL）を組み合わせることで、予測品質と表現学習にどのような効果があるか？
• RQ5 動的動画シーケンスから学習した表現は、静的画像の少サンプル分類に効果的に一般化できるか？

主な発見

• 予測生成ネットワーク（PGN）は、標準的な「跳ねるボール」動画予測ベンチマークで最先端の性能を達成した。
• MSEと敵対的損失（AL）を組み合わせたPGNは、特に顔の平面外回転に対して、視覚的に現実的で一貫性のある予測を生成した。
• MSEのみで訓練されたPGNは、50クラスの静的顔認識タスクで最高の分類精度（最大94％）を達成し、すべての再構成ベースのベースラインを上回った。
• 訓練例が少ない状況でも、予測モデルは再構成ベースのモデルよりも顕著に優れた一般化性能を示し、特に少サンプル状況で顕著だった。
• 時間的予測のインダクティブバイアスのおかげで、PGNが学習した表現は、回転などのオブジェクト変換に対して本質的に耐性を示した。
• 同じデータ分布で学習されたとしても、再構成損失で訓練されたモデルと比較して、予測損失で訓練されたモデルの方が一般化性能が優れていた。