[論文レビュー] Learning Video Representations from Correspondence Proposals

Xingyu Liu, Joon‐Young Lee+1 more|arXiv (Cornell University)|May 20, 2019

Human Pose and Action Recognition参考文献 39被引用数 10

ひとこと要約

本稿では、セマンティック空間におけるk近傍近傍対応関係からの特徴の集約を通じて、長距離の動きと動的コンテンツをモデル化する、新しい動画表現学習フレームワークCPNetを提案する。動画特徴を点群として扱い、最大プーリングされた対応埋め込みを用いた学習可能CPモジュールを用いることで、RGB入力のみでかつ先行手法よりも少ないパラメータ数で、Something-SomethingおよびJesterにおいて最先端性能を達成し、Kineticsにおいても最先端性能を達成した。

ABSTRACT

Correspondences between frames encode rich information about dynamic content in videos. However, it is challenging to effectively capture and learn those due to their irregular structure and complex dynamics. In this paper, we propose a novel neural network that learns video representations by aggregating information from potential correspondences. This network, named $CPNet$, can learn evolving 2D fields with temporal consistency. In particular, it can effectively learn representations for videos by mixing appearance and long-range motion with an RGB-only input. We provide extensive ablation experiments to validate our model. CPNet shows stronger performance than existing methods on Kinetics and achieves the state-of-the-art performance on Something-Something and Jester. We provide analysis towards the behavior of our model and show its robustness to errors in proposals.

研究の動機と目的

• フレーム間の不規則的で長距離にわたる対応関係から効果的な動画表現を学ぶという課題に対処すること。
• 光学的流れや複雑な空間時間的演算に依存せずに、動画内の動的コンテンツをモデル化すること。
• 時間的整合性を保ちながら、一連の潜在的対応関係から効果的に集約・学習するモジュールを開発すること。
• RGB入力のみを用いて、エンドツーエンドで統合的外観と動きの特徴を学習すること。
• 動画認識におけるノイズ混じりまたは誤った対応関係提案に対して、頑健性を向上させること。

提案手法

• CPモジュールは、動画特徴テンソルをC次元のセマンティック空間内にT×H×W点の点群として扱う。
• 各点（特徴）に対して、セマンティック特徴空間におけるL2距離を用いて、他のフレーム内のk個の近傍（潜在的対応関係）を特定する。
• k個の対応ペアの各々が、共有された多層パーセプトロン（MLP）によって独立に処理され、対応埋め込みが計算される。
• k個の埋め込みに対して最大プーリングを適用し、最も顕著な対応関係を選択することで、弱いまたは誤った提案をフィルタリングする。
• CPモジュールは、空間的・時間的オフセット（時間的および空間的オフセット）を統合することで、動き構造を保持し、時間的整合性を実現する。
• CPモジュールはCNNバックボーンに統合され、静的外観と動的動き表現を同時に学習するCPNetアーキテクチャを形成する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な対応関係集約メカニズムは、RGB入力のみを用いて、長距離の動きを効果的にモデル化できるか？
• RQ2 トレーニングおよび推論中に、ノイズ混じりまたは誤った対応関係提案に対してCPモジュールはどのように対処するか？
• RQ3 ポイントクラウドベースの対応モジュールは、動画認識において局所的またはグローバルなアテンション機構をどれほど上回れるか？
• RQ4 CPモジュールは、異なる動画認識アーキテクチャやベンチマークに一般化可能か？
• RQ5 ピクセルレベルの光学的流れと比較して、セマンティックレベルの対応学習は、動きダイナミクスをどれほど効果的に捉えられるか？

主な発見

• CPNetはSomething-SomethingおよびJesterデータセットで最先端性能を達成し、パラメータ数が少ないにもかかわらず、先行するRGBのみの手法を上回った。
• Kineticsデータセットでは、既存の手法を上回り、行動認識における強力な一般化性能と性能向上を示した。
• CPモジュールは、誤った対応関係提案に対しても頑健であることが示された。最大プーリングにより、情報量が少ないまたは誤った一致が効果的にフィルタリングされた。
• 可視化の結果、CPモジュールは主に動きのある物体に対応する特徴を変更していることが示され、効果的な動きモデリングが行われていることが裏付けられた。
• 明示的な動きの教師信号がなくても、CPモジュールはセマンティック類似度に基づいて意味のある対応関係を提案する学習をした。
• CPNetはC3D、NL-Net、TRNといった既存のアーキテクチャに簡略化されたり一般化されたりでき、その柔軟性と理論的根拠を示した。