[論文レビュー] Anticipating the future by watching unlabeled video.

Carl Vondrick, Hamed Pirsiavash+1 more|arXiv (Cornell University)|Apr 29, 2015

Human Pose and Action Recognition参考文献 48被引用数 105

ひとこと要約

本論文では、未ラベル付き動画を活用して将来の視覚的表現を予測する深層ネットワークを訓練する自己教師ありフレームワークを提案する。これにより、行動や物体の予測が可能になる。非構造的な動画データ内の時間的構造を活用することで、実世界のデータセットにおいて将来予測性能が顕著に向上する。

ABSTRACT

In many computer vision applications, machines will need to reason beyond the present, and predict the future. This task is challenging because it requires leveraging ex-tensive commonsense knowledge of the world that is diffi-cult to write down. We believe that a promising resource for efficiently obtaining this knowledge is through the mas-sive amounts of readily available unlabeled video. In this paper, we present a large scale framework that capitalizes on temporal structure in unlabeled video to learn to antic-ipate both actions and objects in the future. The key idea behind our approach is that we can train deep networks to predict the visual representation of images in the future. We experimentally validate this idea on two challenging “in the wild ” video datasets, and our results suggest that learning with unlabeled videos significantly helps forecast actions and anticipate objects. 1.

研究の動機と目的

• コンピュータビジョンの応用において、機械が将来を推論できるようにする挑戦に取り組む。
• 人的ラベル付きデータへの依存を減らし、大量の未ラベル付き動画を活用して知識を獲得する。
• 時間的モデリングによる動画を用いた、一般常識的世界知識を学習するスケーラブルなフレームワークを開発する。
• 将来の視覚的特徴を予測するようにモデルを訓練することで、行動および物体の予測を向上させる。
• 自己教師あり学習が実世界で収集された未加工の動画データセットにおいて有効であることを検証する。

提案手法

• フレームワークは、動画クリップの時間的順序のみを用いて、将来のフレームの視覚的表現を予測するように深層ニューラルネットワークを訓練する。
• 未ラベル付き動画に内在する時間的構造を、表現学習のための監視信号として活用する。
• モデルは、過去および現在のフレームから将来のフレームを予測できる統合埋め込み空間を学習する。
• このアプローチはエンドツーエンド微分可能であり、バックプロパゲーションを動画シーケンス全体に適用して将来予測を最適化できる。
• 行動や物体のラベルを必要とせず、動画の順序のみを監視信号として用いる。
• 汎化性および耐性を評価するために、2つの実世界の動画データセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 未ラベル付き動画からの自己教師あり学習は、コンピュータビジョンにおける将来予測を向上させることができるか？
• RQ2 未ラベル付き動画における時間的構造は、一般常識的世界知識の学習にどの程度有効か？
• RQ3 明示的なラベルなしで、将来の視覚的表現をどの程度正確に予測できるか？
• RQ4 未加工で実世界の動画から学習することは、下流の予測タスクに一般化できるか？
• RQ5 自己教師あり事前学習が、行動および物体の予測性能に与える影響は何か？

主な発見

• 未ラベル付き動画データを活用することで、モデルは将来予測において顕著な向上を達成した。
• 非構造的な動画における自己教師あり事前学習により、下流の予測タスクにおける汎化性能が向上した。
• 人的ラベル付き将来ラベルを一切必要とせず、行動および物体の両方を効果的に予測できるように学習した。
• 2つの挑戦的な実世界の動画データセットで性能向上が確認され、耐性が示された。
• 未ラベル付き動画における時間的構造が、将来予測の学習に強力な信号であることが検証された。
• 高価なラベル付けに依存する必要を減らしつつ、強力な予測性能を維持した。