[論文レビュー] Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning

William Lotter, Gabriel Kreiman+1 more|arXiv (Cornell University)|May 25, 2016

Advanced Vision and Imaging被引用数 387

ひとこと要約

本論文はPredNetを導入する。予測符号化に触発された深い再発畳み込みネットワークで、将来のビデオフレームを予測し、無監督の物体・場面理解に有用な表現（潜在パラメータのデコードや操舵角推定を含む）を構築する。

ABSTRACT

While great strides have been made in using deep learning algorithms to solve\nsupervised learning tasks, the problem of unsupervised learning - leveraging\nunlabeled examples to learn about the structure of a domain - remains a\ndifficult unsolved challenge. Here, we explore prediction of future frames in a\nvideo sequence as an unsupervised learning rule for learning about the\nstructure of the visual world. We describe a predictive neural network\n("PredNet") architecture that is inspired by the concept of "predictive coding"\nfrom the neuroscience literature. These networks learn to predict future frames\nin a video sequence, with each layer in the network making local predictions\nand only forwarding deviations from those predictions to subsequent network\nlayers. We show that these networks are able to robustly learn to predict the\nmovement of synthetic (rendered) objects, and that in doing so, the networks\nlearn internal representations that are useful for decoding latent object\nparameters (e.g. pose) that support object recognition with fewer training\nviews. We also show that these networks can scale to complex natural image\nstreams (car-mounted camera videos), capturing key aspects of both egocentric\nmovement and the movement of objects in the visual scene, and the\nrepresentation learned in this setting is useful for estimating the steering\nangle. Altogether, these results suggest that prediction represents a powerful\nframework for unsupervised learning, allowing for implicit learning of object\nand scene structure.\n

研究の動機と目的

• 時間的ビデオ構造から無監督学習を動機づけ、将来のフレームの予測として
• PredNet を用いた予測符号化に触発された深層ネットワーク（PredNet）を提案し、ローカルな予測と誤差駆動学習を実装する。
• 将来のフレームの予測が、潜在因子（例: 姿勢）をデコードする表現や下流の認識タスクに有用であることを示す。
• 自然なビデオ（車載カメラ列を含む）へのスケーラビリティと、操舵角推定への有用性を示す。

提案手法

• PredNet のアーキテクチャ設計：入力 A_l、再帰的表現 R_l、予測 hatA_l、誤差 E_l からなるスタック型モジュール。
• PredNet は R_l から hatA_l を予測する；予測誤差 E_l = [ReLU(A_l - hatA_l); ReLU(hatA_l - A_l)]。
• R_l は E_l を受け取り、上位層の R_{l+1} をアップサンプリングしてトップダウン入力として ConvLSTM ユニットを用いる。A_l は E_{l-1 から Conv、ReLU、およびプーリング経由で計算される。
• 訓練は層と時間ステップ全体にわたる絶対誤差の重み付き和を最小化し、実質的には E_l 上の L1 ロス。
• 2つの評価方式：最低層 L0 の損失のみで訓練したPredNet、または上位層にも損失を追加した L_all。
• 比較対象にはCNN-LSTM encoder-decoder ベースラインと Copy Last Frame ベースラインを含む。

実験結果

リサーチクエスチョン

• RQ1 PredNet のような予測符号化に触発されたネットワークは、将来のフレームを予測することで有用な無監督表現を学習できるのか。
• RQ2 多層の予測と誤差駆動学習は、潜在的な物体パラメータ（例: 姿勢）のデコードを可能にし、下流のタスクを改善する表現を生み出すのか。
• RQ3 PredNet の表現は自然なビデオ（車載カメラ）へスケールし、操舵角推定のようなタスクを支援するのか。
• RQ4 層ごとの損失重み付け（L0 対 L_all）は、予測品質と下流情報の符号化にどのような影響を与えるのか。

主な発見

データセット	モデル	MSE	SSIM
Rotating Faces	PredNet L0	0.0152	0.937
Rotating Faces	PredNet L_all	0.0157	0.921
Rotating Faces	CNN-LSTM Enc.-Dec	0.0180	0.907
Rotating Faces	Copy Last Frame	0.125	0.631
CalTech Pedestrian	PredNet L0	3.13e-3	0.884
CalTech Pedestrian	PredNet L_all	3.33e-3	0.875
CalTech Pedestrian	CNN-LSTM Enc.-Dec	3.67e-3	0.865
CalTech Pedestrian	Copy Last Frame	7.95e-3	0.762

• PredNet は合成の回転顔列において基準法を上回り、MSE と SSIM の両方で、L0 および L_all のバリアントが画素レベル予測で最高となった。
• 中間表現からの潜在パラメータデコードは乱雑なネットより改善され、特にパン回転速度で顕著、L_all は最初の主成分デコードを改善。
• PredNet の表現は静的な顔識別を線形リードアウトでサポートし、複数の訓練データセットサイズでオートエンコーダや Ladder Networks を上回った。
• KITTI car-cam sequences では、PredNet（L0 および L_all）は CNN-LSTM encoder-decoder ベースラインよりも低い MSE と高い SSIM を示した。
• Comma.ai データでの操舵角推定では、PredNet（L0）の線形リードアウトが1k ラベル付き例で操舵方差の約74%を説明し、同程度の条件下の CNN ベースモデルを上回った。
• 全体として、予測は有効な無監督学習信号として機能し、物体/場面構造を捉える表現を生み出し下流タスクを促進する。