[論文レビュー] Disentangling Motion, Foreground and Background Features in Videos

Xunyu Lin, Víctor Campos+3 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Vision and Imaging参考文献 13被引用数 3

ひとこと要約

本論文では、3次元畳み込みオートエンコーダー構造を用いて、動き、前景、背景の特徴を分離する非教師あり深層学習フレームワークを提案する。動きに配慮した分離を伴うフレーム再構成による訓練により、意味的に意味のある特徴を学習し、行動認識の精度を著しく向上させる。UCF-101テストセットで62.5%の精度を達成し、ランダム初期化やオートエンコーダー事前学習に比べて10%以上の向上を示した。

ABSTRACT

This paper introduces an unsupervised framework to extract semantically rich features for video representation. Inspired by how the human visual system groups objects based on motion cues, we propose a deep convolutional neural network that disentangles motion, foreground and background information. The proposed architecture consists of a 3D convolutional feature encoder for blocks of 16 frames, which is trained for reconstruction tasks over the first and last frames of the sequence. A preliminary supervised experiment was conducted to verify the feasibility of proposed method by training the model with a fraction of videos from the UCF-101 dataset taking as ground truth the bounding boxes around the activity regions. Qualitative results indicate that the network can successfully segment foreground and background in videos as well as update the foreground appearance based on disentangled motion features. The benefits of these learned features are shown in a discriminative classification task, where initializing the network with the proposed pretraining method outperforms both random initialization and autoencoder pretraining. Our model and source code are publicly available at https://imatge-upc.github.io/unsupervised-2017-cvprw/ .

研究の動機と目的

• 人間の知覚的グループ化を模倣する動きの手がかりを利用した非教師あり動画表現学習フレームワークの開発。
• 高価な人間によるアノテーションに依存せずに、動画クリップにおける動き、前景、背景の特徴を分離すること。
• 分離された特徴を用いた事前学習により、判別的な行動認識性能を向上させること。
• 動きに基づく分離が、ランダム初期化やオートエンコーダー事前学習に比べてより優れた一般化性能をもたらすことを示すこと。

提案手法

• 16フレームの動画クリップを処理する3次元畳み込みニューラルネットワークエンコーダーが、共有のボトルネック特徴空間にマップする。
• ボトルネック特徴は、動き用、前景外観用、背景外観用の3つの別々のヘッドに分割される。
• 各ヘッドは、再構成損失を用いて、クリップの最初と最後のフレームからそれぞれの成分（動き、前景、背景）を再構成するように訓練される。
• マルチストリームデコーダー構成を採用し、動き、前景、背景の再構成それぞれに別々のデコーダーを設ける。
• 訓練時には真値のセグメンテーションマスクが使用されるが、本手法は将来的にuNLCなどの手法を用いて非教師あり前景セグメンテーションをサポートすることを設計している。
• 分離された特徴の上に線形ソフトマックス層を追加することで、行動認識用にファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 動きの手がかりのみで、動画における前景と背景の非教師あり分離が可能か？
• RQ2 動き、前景、背景を分離することは、標準的なオートエンコーディングに比べて、より優れた動画表現学習をもたらすか？
• RQ3 提案された事前学習手法は、ラベル付きデータが限られた状況でも行動認識性能を向上させられるか？
• RQ4 下流タスクにおいて、本モデルの性能はランダム初期化やオートエンコーダー事前学習に比べてどうか？
• RQ5 人間によるアノテーションなしで、本モデルは現実世界の動画理解タスクに一般化可能か？

主な発見

• 分離された特徴を用いた事前学習後にファインチューニングしたモデルは、UCF-101テストセットで62.5%の精度を達成し、ランダム初期化（52.2%）やオートエンコーダー事前学習（56.8%）を上回った。
• 事前学習済みモデルは1エポックで90%の訓練精度に達したが、ランダム初期化モデルは同じ性能に到達するまでに130エポックを要した。
• 定性的な結果から、ネットワークが動く物体を前景として正しくセグメンテーションし、グローバルな移動とローカルなポーズ変化を捉えた動き特徴を再構成していることが示された。
• 分離された動き特徴により、フレーム間での物体のシフトやジェスチャーの変化を正確に再構成できており、時間的ダイナミクスの有効なモデリングが示された。
• 動きに基づく分離のインダクティブバイアスのおかげで、データが限られた状況下でも強力な一般化性能を示した。
• 本フレームワークは公開されており、コードとモデルは https://imatge-upc.github.io/unsupervised-2017-cvprw/ で入手可能。