[論文レビュー] Actor-Centric Relation Network

Chen Sun, Abhinav Shrivastava+4 more|arXiv (Cornell University)|Jul 28, 2018

Human Pose and Action Recognition参考文献 63被引用数 14

ひとこと要約

本論文は、アクター、オブジェクト、シーン間の空間的・時間的関係を弱い教師付きでモデル化することで、動画内の行動検出を向上させる、アクター中心の関係ネットワーク（ACRN）を提案する。1次元および3次元畳み込みを用いて、アクター特徴とグローバルシーン特徴からのペアワイズ関係を計算・集約することで、フレームレベル特徴を超えた行動認識を実現し、JHMDBおよびAVAデータセットで最先端の性能を達成した。特定の行動ではフレーム-APが最大11%向上した。

ABSTRACT

Current state-of-the-art approaches for spatio-temporal action localization rely on detections at the frame level and model temporal context with 3D ConvNets. Here, we go one step further and model spatio-temporal relations to capture the interactions between human actors, relevant objects and scene elements essential to differentiate similar human actions. Our approach is weakly supervised and mines the relevant elements automatically with an actor-centric relational network (ACRN). ACRN computes and accumulates pair-wise relation information from actor and global scene features, and generates relation features for action classification. It is implemented as neural networks and can be trained jointly with an existing action detection system. We show that ACRN outperforms alternative approaches which capture relation information, and that the proposed framework improves upon the state-of-the-art performance on JHMDB and AVA. A visualization of the learned relation features confirms that our approach is able to attend to the relevant relations for each action.

研究の動機と目的

• 視覚的外観を超えて、アクター、オブジェクト、シーン要因間の関係をモデル化することで、空間的・時間的行動検出を改善すること。
• 高価なインスタンスごとのアノテーションを必要とせず、自動的に関連する関係をマイニングできる弱い教師付き学習を可能にすること。
• 関係特徴を共同で学習可能で、行動検出器とエンドツーエンドで訓練可能なニューラルネットワークモジュールを開発すること。
• 関係推論が、ボールをキャッチするかシュートするかのような類似行動の区別を改善することを実証すること。
• モデルが意味的に関連する関係、例えばアクター-オブジェクトの相互作用に注目するよう学習していることを可視化・検証すること。

提案手法

• ACRNは、学習可能なニューラルネットワークを用いて、アクター表現とシーン特徴マップのセルとの間でペアワイズ関係特徴を計算する。
• シーン特徴表現を個々のグリッドセルに簡素化し、1×1畳み込みを用いて効率的に関係を計算する。
• 3×3畳み込み層が、隣接する空間的および時間的位置からの関係情報を集約し、局所的コンテキストをモデル化する。
• 時間的コンテキストは3D ConvNetsを介して組み込み、特徴を2次元にフラット化して空間的関係と併せて統合処理する。
• アクターレベルの監視のみを用いて、行動検出システムとエンドツーエンドで訓練する。
• 解釈可能性のため、空間的および時間的注意を関係特徴に適用するためのクラスアクティビーションマッピング（CAM）を適用する。

実験結果

リサーチクエスチョン

• RQ1 弱い教師付きの関係モデリングは、フレームレベル特徴を超えて行動検出性能を向上させることができるか？
• RQ2 ACRNが学習する関係特徴は、アクター-オブジェクトダイナミクスのような意味的に関連する相互作用に注目しているか？
• RQ3 関係をモデル化しないベースラインモデルやグローバルコンテキストのみを用いるモデルと比較して、ACRNはどのように異なるか？
• RQ4 どの行動カテゴリが関係推論によって最も利益を受けるか、特に相互作用を伴うものに関しては？
• RQ5 外観のみでは不十分な、複雑で曖昧な行動に、モデルは一般化可能か？

主な発見

• AVA（バージョン2.1）では17.4のフレーム-APを達成し、ベースモデル（15.5）と比較して1.9ポイント向上し、複数のスプリットで一貫した向上を示した。
• JHMDBでは「キャッチ」で12%、「ウェイブ」で10%、「ジャンプ」で6%のフレーム-AP向上を記録し、相互作用を伴う行動で顕著な向上が確認された。
• AVAでは77.9のフレーム-APおよび80.1のビデオ-APを達成し、I3D や ACT を含む先行手法を上回り、最先端の性能を達成した。
• 可視化により、ACRNが関連する関係（例：キャッチやシュートの際のボール）に注目するよう学習していることが確認され、解釈可能性が裏付けられた。
• 誤検出を低減し、見逃された検出を捉えることができた。定量的比較では、ACRNがベースモデルの誤りを是正していることが示された。
• 人間同士や人間-オブジェクトの相互作用を伴う行動、例えば「ファイト」、「ダンス」、「キス」、「楽器を演奏する」において、最も高い性能向上が観察された。