[論文レビュー] Temporal Relational Reasoning in Videos

Bolei Zhou, Alex Andonian+2 more|arXiv (Cornell University)|Nov 22, 2017

Human Pose and Action Recognition参考文献 26被引用数 33

ひとこと要約

本論文では、複数の時間スケールで動画フレーム間の時間的関係を学習・推論できる、プラグアンドプレイ型モジュールである時系列関係ネットワーク（TRN）を紹介する。TRNは、僅かなRGBフレームのみを用いて、Something-Something、Jester、Charadesなどのアクティビティ認識ベンチマークで最先端の性能を達成しており、光流や3D畳み込みニューラルネットワークに依存しないことで、動画内に埋め込まれた解釈可能な視覚的常識知識を発見している。

ABSTRACT

Temporal relational reasoning, the ability to link meaningful transformations of objects or entities over time, is a fundamental property of intelligent species. In this paper, we introduce an effective and interpretable network module, the Temporal Relation Network (TRN), designed to learn and reason about temporal dependencies between video frames at multiple time scales. We evaluate TRN-equipped networks on activity recognition tasks using three recent video datasets - Something-Something, Jester, and Charades - which fundamentally depend on temporal relational reasoning. Our results demonstrate that the proposed TRN gives convolutional neural networks a remarkable capacity to discover temporal relations in videos. Through only sparsely sampled video frames, TRN-equipped networks can accurately predict human-object interactions in the Something-Something dataset and identify various human gestures on the Jester dataset with very competitive performance. TRN-equipped networks also outperform two-stream networks and 3D convolution networks in recognizing daily activities in the Charades dataset. Further analyses show that the models learn intuitive and interpretable visual common sense knowledge in videos.

研究の動機と目的

• アクティビティ認識に不可欠な、動画フレーム間の時間的関係を理解・推論できる深層ニューラルネットワークの能力を向上させること。
• 光流や高密度フレームが利用できない状況において、長期的および短期的な時間的依存関係を捉えることが難しい既存モデルの限界を克服すること。
• あらゆるCNNアーキテクチャに容易に統合可能な汎用的で効率的かつ解釈可能なモジュールを構築すること。
• TRNが、限られたフレームサンプリングでも時間的変換から視覚的常識知識を学習できることを示すこと。

提案手法

• TRNは複数の時間スケールでフレームペアを処理し、ReLU活性化関数を用いた全結合層を用いて、それらの間の時間的関係を分類する。
• ネットワークは、複数のフレームペア間の関係を集約する「関係プール」メカニズムを採用しており、長距離の時間的依存関係のモデリングを可能としている。
• TRNは標準的な2次元CNNにプラグアンドプレイ方式で適用され、アーキテクチャの大幅な見直しを伴わずにエンドツーエンド学習が可能となっている。
• 最初の数フレームのみを処理することで、アクティビティの早期認識を実現しており、学習済みの時間的関係を活用して行動を予測している。
• 複数のTRNモジュールをネットワークの異なる段階にスタックすることで、階層的な時間的関係を捉えている。
• モデルはアクティビティ分類の交差エントロピー損失を用いて学習され、一般化性能の向上を図るためのデータ拡張およびフレームサンプリング戦略が導入されている。

実験結果

リサーチクエスチョン

• RQ1 光流や3D畳み込みに依存せず、シンプルで解釈可能なモジュール（TRN）が、動画における時間的関係を効果的に学習・推論できるか。
• RQ2 TRNが、時間的変化や物体間の相互作用を理解する必要があるアクティビティ認識タスクにおいて、どの程度性能を向上させられるか。
• RQ3 TRNは、動画の最初の25％のフレームのみを用いて、アクティビティの早期認識を可能にするか。
• RQ4 TRNは、人間の時間的シーケンスに対する直感的理解を反映する視覚的常識知識を学習しているか。

主な発見

• TRNを搭載したネットワークは、僅か8フレームのみを用いてSomething-Somethingデータセットで34.44％の正確度を達成し、ベースラインの19.53％から顕著な向上を示した。
• Jesterデータセットでは、TRNによりベースラインの85.41％から95.31％の正確度に向上し、ジェスチャー認識における強力な一般化性能を示した。
• Charadesデータセットでは、TRNが2ストリームおよび3D畳み込みネットワークを上回り、TRプール戦略を用いて25.20％の正確度を達成した。
• t-SNE可視化の結果、TRNモデルの特徴量は、特に5フレームのTRNにおいて、アクティビティクラスをより明確に分離しており、表現学習の向上が示された。
• 早期認識実験では、TRNがSomething-Somethingで最初の50％のフレームのみを用いて19.10％の正確度で行動を予測できた。これは、1フレームベースラインの10.10％から顕著な向上である。
• 定性的な結果から、TRNは最初の25％のフレームからでも、学習済みの視覚的常識に基づいて合理的な将来の行動予測を生成できることを示した。