[論文レビュー] Learning to Linearize Under Uncertainty

Ross Goroshin, Michaël Mathieu+1 more|arXiv (Cornell University)|Jun 9, 2015

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 34

ひとこと要約

本論文では、自然動画の時間的ダイナミクスを線形化するため、確率的潜在変数を用いて不確実性をモデル化することで、動画オートエンコーダーを訓練する深層学習フレームワークを提案する。学習されたコード空間における線形補間による将来フレームの予測により、より鋭く現実的である予測が得られ、予測可能な運動と予測不能な変動が分離され、再構成品質および表現学習において決定的ベースラインを上回る性能を達成する。

ABSTRACT

Training deep feature hierarchies to solve supervised learning tasks has achieved state of the art performance on many problems in computer vision. However, a principled way in which to train such hierarchies in the unsupervised setting has remained elusive. In this work we suggest a new architecture and loss for training deep feature hierarchies that linearize the transformations observed in unlabeled natural video sequences. This is done by training a generative model to predict video frames. We also address the problem of inherent uncertainty in prediction by introducing latent variables that are non-deterministic functions of the input into the network architecture.

研究の動機と目的

• 自然動画シーケンスから局所的に線形化された特徴表現を、明示的教師なしで学習する原理的で一貫した非教師あり手法の開発。
• 複数の妥当な将来が存在する状況において、決定的モデルが複数の可能性を平均化することで生じるぼやけたフレーム予測の問題に対処する。
• 入力に依存する非決定的潜在変数を導入することで、動画データに内在する不確実性をモデル化する。
• 学習可能な予測ヘッドと曲率正則化を用いて、潜在空間における時間的軌道の線形化を強制する。
• 運動が線形的で、コンテンツが安定する、分離可能で解釈可能な表現を可能にする。

提案手法

• モデルは、各動画フレームの固定サイズのコードを生成するためのシアンプスエンコーダーを用い、コード空間における比較と補間を可能にする。
• デコーダー内に線形予測層を設け、潜在コード空間において線形に外挿することで、将来のフレームを予測する。
• 不確実な動画の側面をモデル化するため、入力フレームに非決定的関数として確率的潜在変数を導入し、ぼやけを軽減する。
• L2再構成誤差と曲率正則化を組み合わせた損失関数を用い、潜在軌道における局所的非線形性を最小化する。
• エンコーダーでフェーズプーリングを適用し、デコーダーでアンプーリングを施すことで、空間トポロジーを保持し、一般化性能を向上させる。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、表現学習の代理として予測目的を活用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの自然動画から、明示的教師なしで局所的に線形化された表現を学習できるか？
• RQ2 自然動画シーケンスにおける不確実性をどのようにモデル化すれば、平均化によるぼやけた予測を回避できるか？
• RQ3 潜在コード空間における線形補間は、現実的で鋭い動画フレームの予測を可能にするか？
• RQ4 確率的潜在変数を導入することで、学習された表現の品質と分離性が向上するか？
• RQ5 潜在空間における曲率正則化は、より安定的かつ予測可能な時間的ダイナミクスを強制するか？

主な発見

• フェーズプーリングと曲率正則化を備えたアーキテクチャは、すべての変種の中で最小のL2予測誤差を達成し、優れた再構成性能を示した。
• コード空間における線形補間により、視覚的に整合性があり現実的な動画フレームが得られ、モデルの時間的拡張能力が裏付けられた。
• 確率的潜在変数を備えたモデル（式7）は、決定的ベースライン（式1）よりも鋭い補間を実現し、平均化によるぼやけを軽減した。
• 潜在不確実性変数δ上で訓練された線形予測器は、フレームが飛ばされたかどうかを94％の精度で予測でき、δが意味のある不確実性を捉えていることを確認した。
• 線形予測層を削除し、デコーダーに依存させるだけで性能が悪化したため、潜在空間における明示的な線形化の重要性が示された。
• フェーズプーリングの導入により、コード次元を4096から192に削減しながらも、再構成品質を維持または向上させ、効率的な表現学習が可能になった。