[論文レビュー] A Structured Model For Action Detection

Yubo Zhang, Pavel Tokmakov+2 more|arXiv (Cornell University)|Dec 9, 2018

Human Pose and Action Recognition参考文献 60被引用数 4

ひとこと要約

本論文は、アクター追跡による長時間の時系列モデリングと、グラフ畳み込みネットワークを用いた関係的推論を統合することで、人間-物体および人間-人間の相互作用を捉える構造化深層学習モデルを提案する。I3D特徴量、チューブレットベースの追跡、ソフト関係グラフを用いたドメイン知識のモデルアーキテクチャへの統合により、AVAデータセットで22.2 mAPを達成し、以前の最先端手法（ACRN）を4.8%上回った。

ABSTRACT

A dominant paradigm for learning-based approaches in computer vision is training generic models, such as ResNet for image recognition, or I3D for video understanding, on large datasets and allowing them to discover the optimal representation for the problem at hand. While this is an obviously attractive approach, it is not applicable in all scenarios. We claim that action detection is one such challenging problem - the models that need to be trained are large, and labeled data is expensive to obtain. To address this limitation, we propose to incorporate domain knowledge into the structure of the model, simplifying optimization. In particular, we augment a standard I3D network with a tracking module to aggregate long term motion patterns, and use a graph convolutional network to reason about interactions between actors and objects. Evaluated on the challenging AVA dataset, the proposed approach improves over the I3D baseline by 5.5% mAP and over the state-of-the-art by 4.8% mAP.

研究の動機と目的

• 大規模なモデルと高コストのアノテーションが性能を制限する動画内アクション検出の課題に対処する。
• 短期的な動きパターンを超えて、長時間の時系列依存性をモデル化することで、アクション検出を向上させる。
• アクターと物体間の相互作用を推論する必要がある複雑なアクションの認識を向上させる。
• インスタンスレベルのアノテーションに依存するのを減らすために、弱教師付き物体検出とカテゴリに依存しない物体候補を用いる。
• 追跡や関係的グラフといったアーキテクチャ上の誘導的バイアスが、アクション検出タスクにおける性能向上に顕著に寄与することを示す。

提案手法

• スパatiotemporal表現を符号化するため、動画フレームからI3D特徴量を抽出する。
• Heら[17]に基づく、カテゴリに依存しない改訂版の物体検出フレームワークを用い、カテゴリ固有のアノテーションを必要とせずにアクターと物体を局所化する。
• ヒューリスティックなトラッカーを用いて、各アクターに対して3秒間のチューブレット（境界ボックスの時系列列）を生成し、長時間の動きをモデル化する。
• ノードがアクターと物体を表すアクター中心のグラフを構築し、エッジが人間-物体または人間-人間の相互作用の可能性を符号化する。
• チューブレットおよび物体候補上でI3D特徴量をプーリングし、ノード表現を形成した後、グラフ畳み込みネットワークを適用して関係的特徴を推論する。
• エッジレベルの特徴量上で分類器を訓練し、物体位置の弱教師付きラベルに基づくエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 チューブレット追跡によるアクターの長時間の動きの明示的モデリングは、長時間のアクションにおけるアクション検出性能を向上させるか？
• RQ2 アクターと物体間の関係的推論を組み込むことで、相互作用に基づくアクションの認識がどのように向上するか？
• RQ3 弱教師付き物体検出を用いることで、アクション検出における高コストのインスタンスレベルアノテーションへの依存度はどの程度低下するか？
• RQ4 追跡やグラフ構造といったアーキテクチャ上の誘導的バイアスは、エンドツーエンドで学習された表現のみに比べ、一般化性能を向上させるか？
• RQ5 提案された各構成要素が個別および組み合わせて用いられた場合、AVAベンチマークにおけるmAP向上度はどの程度か？

主な発見

• 提案モデルはAVA検証セットで22.2 mAPを達成し、以前の最先端手法（ACRN）を4.8%上回った。
• 長時間の時系列モデリングを要するアクション、例えば「drive」、「play musical instrument」、「hand clap」において、特に顕著な性能向上を示した。
• アクターのチューブレットとソフト関係グラフの使用により、I3Dベースラインから5.5%のmAP向上が達成され、長時間および関係的モデリングの有効性が裏付けられた。
• 定性的な分析から、モデルが空間的・時系列的文脈を正しく捉えていることが確認された：フォークの特徴を統合することで「eat」と「hold」を区別でき、二重アクター相互作用をモデル化することで「fight」を正しく特定した。
• UCF-101-24では77.9 mAPを達成し、I3Dベースライン（72.0 mAP）を上回ったが、バックボーンとしてS3Dを使用していないため、まだ最先端に届いていない。
• アブレーションスタディから、チューブレット追跡と関係的グラフの両方のコンponentsが不可欠であり、複雑な運動と物体相互作用を伴うアクションで最も顕著な向上が得られた。