[論文レビュー] Anticipating Visual Representations from Unlabeled Video

Carl Vondrick, Hamed Pirsiavash+1 more|arXiv (Cornell University)|Apr 29, 2015

Human Pose and Action Recognition被引用数 58

ひとこと要約

本論文では、自己教師ありフレームワークを提案し、ラベルなし動画を活用して、1〜5秒先の視覚的概念（行動や物体など）を予測する。深層ネットワークを用いて、生のピクセルではなく、高レベルの意味的視覚表現を予測することで、行動および物体予測タスクで最先端の性能を達成し、ベースライン比で物体予測の平均平均精度（mAP）で30%の相対的向上を達成した。これは、将来予測のための自己教師あり時系列モデリングの有効性を示している。

ABSTRACT

Anticipating actions and objects before they start or appear is a difficult problem in computer vision with several real-world applications. This task is challenging partly because it requires leveraging extensive knowledge of the world that is difficult to write down. We believe that a promising resource for efficiently learning this knowledge is through readily available unlabeled video. We present a framework that capitalizes on temporal structure in unlabeled video to learn to anticipate human actions and objects. The key idea behind our approach is that we can train deep networks to predict the visual representation of images in the future. Visual representations are a promising prediction target because they encode images at a higher semantic level than pixels yet are automatic to compute. We then apply recognition algorithms on our predicted representation to anticipate objects and actions. We experimentally validate this idea on two datasets, anticipating actions one second in the future and objects five seconds in the future.

研究の動機と目的

• 高価な人手によるアノテーションデータに依存せずに、将来の人間の行動や物体を予測する手法を開発すること。
• 膨大な量のラベルなし動画に内在する時系列構造を、世界の知識を学習するための自己教師信号として活用すること。
• 低レベルのピクセルや運動ではなく、意味的視覚表現を予測することで、将来予測の性能を向上させること。
• 実世界のデータセットを用いて、行動および物体予測の両方のタスクで、提案手法の有効性を検証し、教師ありおよび自己教師ありのベースラインを上回ることを示すこと。

提案手法

• ラベルなし動画の時系列順序のみを用いて、深層ニューラルネットワークを、将来の動画フレームの視覚表現を予測するように訓練する。
• 共有重みを持つシアンズ型の二重ネットワークアーキテクチャを用い、現在のフレームと将来のフレームを表現空間で比較する。
• 対照的損失を適用し、ネットワークが将来のフレームがランダムなフレームよりも埋め込み空間で近くなるように表現を学習するように促す。
• 不確実性に対応するため、複数の予測（K=1, K=3）を生成するようにモデルを拡張する。
• 予測された表現に分類モデル（例：SVM、線形分類器）を適用し、将来の行動や物体を分類する。
• 限定的なラベル付きデータを用いて、下流の予測タスクに適応させるために、微調整によるモデルの適応化を実施する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画からの自己教師学習が、将来の行動や物体を予測するために必要な世界の知識を効果的に捉えられるか？
• RQ2 生のピクセルや運動を予測するのではなく、意味的視覚表現を予測することで、将来予測タスクの性能が向上するか？
• RQ3 複数の予測（K=3）による不確実性のモデリングは、予測精度にどのように影響するか？
• RQ4 同じ表現学習フレームワークが、行動予測と物体予測の両方のタスクに一般化可能か？

主な発見

• 提案手法は、エゴセントリックな『日常の行動（Activities of Daily Living）』データセットにおいて、5秒先の物体予測で、強力なベースライン比で平均平均精度（mAP）に30%の相対的向上を達成した。
• 複数の予測（K=3）を用いることで、単一出力モデルに比べて顕著に性能が向上し、行動および物体の両方で不確実性のモデリングが性能向上に寄与することが示された。
• 下流のタスク用に微調整されたモデルは、事前学習済みのオフ・ザ・シェル（off-the-shelf）モデルを上回る性能を示し、ドメイン特化された適応化の価値を示している。
• 定性的な結果から、モデルは複雑な社会的相互作用（例：キス、ハグ、ハイタッチ）を正しく予測しているが、予期しない出来事が発生した場合には誤りを犯すことがある。
• ランダムベースラインや静的シーン特徴を用いた従来のSVMベースのアプローチに比べ、本手法は時系列表現学習の優位性を示している。
• フレームワークは異なる動画ドメインに一般化可能であり、放送テレビ番組およびエゴセントリックな日常動画の両方で、強力な結果を達成した。