[論文レビュー] Unsupervised Learning of Long-Term Motion Dynamics for Videos

Zelun Luo, Boya Peng+3 more|arXiv (Cornell University)|Jan 7, 2017

Human Pose and Action Recognition参考文献 43被引用数 32

ひとこと要約

本稿では、長期間の時間的依存関係を捉えるために、原子的3次元運動フローの系列を予測する非教師あり動画表現学習フレームワークを提案する。RGB-D入力に対してLSTMベースのエンコーダデコーダネットワークを用いることで、コン pact で識別性の高い表現を学習し、NTU RGB+DおよびMSR Daily Activity 3Dデータセットにおいて、アクション認識タスクで最先端の非教師あり手法を上回る性能を達成した。NTU RGB+Dでは88.7%の正確度を達成し、MSR Daily Activity 3Dでは3Dトラジェクトリーベースライン比で15%の向上を示した。

ABSTRACT

We present an unsupervised representation learning approach that compactly encodes the motion dependencies in videos. Given a pair of images from a video clip, our framework learns to predict the long-term 3D motions. To reduce the complexity of the learning framework, we propose to describe the motion as a sequence of atomic 3D flows computed with RGB-D modality. We use a Recurrent Neural Network based Encoder-Decoder framework to predict these sequences of flows. We argue that in order for the decoder to reconstruct these sequences, the encoder must learn a robust video representation that captures long-term motion dependencies and spatial-temporal relations. We demonstrate the effectiveness of our learned temporal representations on activity classification across multiple modalities and datasets such as NTU RGB+D and MSR Daily Activity 3D. Our framework is generic to any input modality, i.e., RGB, Depth, and RGB-D videos.

研究の動機と目的

• 人為的ラベルなしで、長期的な運動依存関係を捉える強固な非教師あり動画表現を学習すること。
• 2次元オプティカルフロー や密なトラジェクトリーベースの高次元的または視点依存の運動表現に依存する既存手法の限界を克服すること。
• ピクセルレベルや2次元運動の手がかりではなく、低次元の3次元原子的フローの系列として運動をモデル化することで、アクション認識の性能を向上させること。
• 学習された表現が異なる入力モダリティ（RGB、深度、RGB-D）およびデータセットに一般化できることを示すこと。

提案手法

• フレームワークは、2つの入力フレームを用いて、RGB-Dデータからの密な3次元オプティカルフローのクラスタリングにより計算される、原子的3次元フローの系列を予測する。
• LSTMネットワークを用いたエンコーダデコーダアーキテクチャが、入力フレームペアからの時間的表現を学習する。
• エンコーダは、入力フレームを畳み込みネットワークを用いてダウンサンプリングし、低次元特徴を抽出した後、LSTM処理を行う。
• デコーダは逆畳み込み層（デコンボリューション層）を用いて、原子的3次元フローの系列を再構築し、エンド・トゥ・エンドの学習を可能にする。
• 予測された原子的フロー系列と真値との間の再構成損失を最小化することで、非教師学習の形でモデルを訓練する。
• この手法はモダリティに一般化可能である：RGB → 動作、深度 → 動作、RGB-D → 動作であり、クロスモダリティ評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 原子的3次元運動フローの系列予測が、動画表現学習のための効果的な非教師あり事前学習目的として機能するか？
• RQ2 2次元運動ではなく3次元運動をモデル化することで、学習された動画表現の識別力にどのような影響を与えるか？
• RQ3 非教師あり表現が、異なる入力モダリティ（RGB、深度、RGB-D）およびデータセットにどの程度一般化できるか？
• RQ4 予測する運動系列の長さを延ばすことで、下流のアクション認識のための表現品質が向上するか？
• RQ5 アクション認識の正確度という観点から、本手法は最先端の非教師あり動画表現学習アプローチと比べてどのように差をつけるか？

主な発見

• 提案手法は、NTU RGB+Dデータセットにおいて、アクション認識でトップ-1正確度88.7%を達成し、以前の非教師あり手法を上回った。
• MSR Daily Activity 3Dデータセットでは、3Dトラジェクトリーベースライン比で15%の向上を示し、優れた識別力の有効性を裏付けた。
• 8ステップ予測（長時間系列）は3ステップ予測（短時間系列）よりも分類正確度が高く、長期的依存関係が表現品質を向上させることを確認した。
• RGB-Dデータで学習したモデルは、微調整なしでRGBのみの入力に対しても良好に一般化でき、UCF-101で53.0%のmeanAPを達成し、他の非教師あり手法を上回った。
• ImageNetで事前学習された特徴（後期融合）と組み合わせた場合、UCF-101で79.3%のmeanAPを達成し、非教師ありLSTMベースラインでさえも上回った。
• アブレーションスタディにより、2次元運動ではなく3次元運動をモデル化することで顕著な性能向上が得られ、3次元運動モデリングの重要性が裏付けられた。