[論文レビュー] Dense Optical Flow Prediction from a Static Image

Jacob Walker, Abhinav Gupta+1 more|arXiv (Cornell University)|May 2, 2015

Human Pose and Action Recognition参考文献 25被引用数 18

ひとこと要約

本論文は、数万本のラベルなし動画を用いた自己教師あり学習を活用して、1枚の静止画像から高密度な光センサフローを予測する畳み込みニューラルネットワーク（CNN）を提案する。モデルは人間のアノテーションやエージェント中心の仮定を一切用いずに、シーン構造やアクションポーズから運動の文脈を推論することで、最先端の性能を達成する。

ABSTRACT

Given a scene, what is going to move, and in what direction will it move? Such a question could be considered a non-semantic form of action prediction. In this work, we present a convolutional neural network (CNN) based approach for motion prediction. Given a static image, this CNN predicts the future motion of each and every pixel in the image in terms of optical flow. Our CNN model leverages the data in tens of thousands of realistic videos to train our model. Our method relies on absolutely no human labeling and is able to predict motion based on the context of the scene. Because our CNN model makes no assumptions about the underlying scene, it can predict future optical flow on a diverse set of scenarios. We outperform all previous approaches by large margins.

研究の動機と目的

• 人間によるアクションラベルやエージェント中心の仮定に依存せずに、1枚の静止画像から一般化された運動予測を可能にすること。
• ポーズやシーンレイアウトなどの文脈的ヒントに基づいて、未来のピxlsレベルの運動（光センサフロー）を推論する深層学習フレームワークを開発すること。
• 多数のエージェントを含む屋内・屋外環境をカバーする大規模で非構造的な動画データを用いて、モデルを訓練し、一般化を図ること。
• 単一フレームモデルを拡張して、光センサフローのフレーム系列を予測する長距離運動予測を検討すること。
• 自己教師あり学習による事前学習が、ImageNet風の教師あり事前学習がなくても、強力な性能を発揮することを示すこと。

提案手法

• 事前学習済みの光センサフローアルゴリズムを用いて、ラベルなしの動画クリップから得られる光センサフローのラベルを用いて、CNNを1枚の画像から高密度な光センサフローを予測するように訓練する。
• UCF-101およびHMDB-51データセットを用いて、人間によるアクションや運動ラベルを一切使用せずに自己教師あり学習を実施する。
• 非共有重みを備えたマルチステージの全結合ネットワークを用い、光センサフローのフレーム系列を予測する。時間的変化を離散的なフロークラスタの系列としてモデル化する。
• k-meansクラスタリングを用いて1000個の代表的光センサフロー画像のコードブックを作成し、将来の運動予測を系列生成タスクとして扱う。
• アンラールドRNNにインspiredされた時間的深層アーキテクチャを採用。各予測ステップが、すべての過去の隠れ状態と画像特徴にアクセス可能である。
• カメラの動きを除去することで学習データを安定化させるが、安定化がなくても性能に大きな影響はなく、モデルは頑健である。

実験結果

リサーチクエスチョン

• RQ1 人間による運動ラベルやアクションラベルが一切ない状況でも、深層CNNが1枚の静止画像から高密度な光センサフローを予測できるか？
• RQ2 大規模な動画データを用いた自己教師あり学習は、教師ありまたはドメイン特化型手法と比較して、多様なシーンや運動タイプにどれほど一般化できるか？
• RQ3 モデルはトレーニング分布外の未観測環境や運動パターンにも一般化可能か？
• RQ4 単一フレームの光センサフロー予測モデルを、複数フレームの運動系列を予測するように拡張することは可能か？
• RQ5 この運動予測タスクにおいて、自己教師あり事前学習の性能は、ImageNetの教師あり事前学習と比較してどうなるか？

主な発見

• 提案されたCNNモデルは、1枚の画像からの高密度な光センサフロー予測において、すべての先行手法を上回る最先端の性能を達成する。
• UCF-101で学習しHMDB-51でテストする場合、逆にHMDB-51で学習しUCF-101でテストする場合でも、強い一般化性能を示す。
• 自己教師あり学習による事前学習は、ランダム初期化よりも優れた結果をもたらすが、ImageNetの教師あり事前学習は僅かな改善にとどまる。
• モデルはカメラの動きに対して頑健である。非安定化された動画データで学習しても、性能はわずかに低下するにとどまる。
• 複数フレームへの拡張は、クラスタ化された離散的系列生成アプローチを用いて、成功裏に光センサフローのフレーム系列を予測した。長距離運動予測の可能性を示した。
• パrameter数が多くても、完全結合時間ネットワークは、実験で平均軌道に収束しやすいLSTMベースのアーキテクチャを上回る性能を発揮した。