[論文レビュー] Video Self-Stitching Graph Network for Temporal Action Localization

Chen Zhao, Ali Thabet+1 more|arXiv (Cornell University)|Nov 30, 2020

Human Pose and Action Recognition参考文献 45被引用数 8

ひとこと要約

本論文は、動画自己ステッチ（VSS）とクロススケールグラフピラミッドネットワーク（xGPN）を用いて、元の動画クリップと時間的拡大されたクリップを統合することで、短時間行動検出を向上させる、新しいフレームワークである動画自己ステッチグラフネットワーク（VSGN）を提案する。VSGNは、THUMOS-14およびActivityNet-v1.3で最先端の性能を達成し、スケール間の補完的特徴を活用して短時間行動のmAPを顕著に向上させ、短時間行動のためのより多くの陽性アノテーションを生成する。

ABSTRACT

Temporal action localization (TAL) in videos is a challenging task, especially due to the large variation in action temporal scales. Short actions usually occupy a major proportion in the datasets, but tend to have the lowest performance. In this paper, we confront the challenge of short actions and propose a multi-level cross-scale solution dubbed as video self-stitching graph network (VSGN). We have two key components in VSGN: video self-stitching (VSS) and cross-scale graph pyramid network (xGPN). In VSS, we focus on a short period of a video and magnify it along the temporal dimension to obtain a larger scale. We stitch the original clip and its magnified counterpart in one input sequence to take advantage of the complementary properties of both scales. The xGPN component further exploits the cross-scale correlations by a pyramid of cross-scale graph networks, each containing a hybrid module to aggregate features from across scales as well as within the same scale. Our VSGN not only enhances the feature representations, but also generates more positive anchors for short actions and more short training samples. Experiments demonstrate that VSGN obviously improves the localization performance of short actions as well as achieving the state-of-the-art overall performance on THUMOS-14 and ActivityNet-v1.3.

研究の動機と目的

• 未編集動画における短時間行動の局所化性能が低いという、長期間にわたり継続する課題に取り組むこと。短時間行動は数が多く、既存手法では性能が劣る。
• 単一スケールの特徴表現の限界を克服し、複数の時間スケールからの補完的情報を活用すること。
• 短時間行動の特徴表現を強化し、陽性学習サンプルを増やすためのマルチレベルクロススケールフレームワークを開発すること。
• 訓練中に長時間行動にバイアスがかかるのを軽減するため、時間的拡大を用いて合成された短時間行動インスタンスでデータセットを拡張すること。
• 長距離依存関係をスケール間で捉えることができるグラフベースのピラミッドネットワークを用いて、効果的なクロススケール特徴集約を実現すること。

提案手法

• 動画自己ステッチ（VSS）は、短い動画クリップを時間的に拡大してより大きなスケールのバージョンを生成し、元のクリップと拡大されたクリップを1つの入力シーケンスにステッチすることで、補完的情報を保持する。
• クロススケールグラフピラミッドネットワーク（xGPN）は、学習されたグラフ接続を介してスケール内およびスケール間の特徴を集約するハイブリッドモジュールを用いて、複数のエンコーダーレベルで特徴を処理する。
• xGPNの各ノードは、K/2のスケール内エッジとK/2のスケール間エッジの組み合わせを用いて、異なる時間スケールからの特徴間の関係をモデル化する。
• xGPNがすべてのエンコーダーレベルに適用されるマルチレベルアーキテクチャを採用し、段階的な特徴精錬とクロススケール情報の流れを可能にする。
• 標準的なTAL損失を用いてエンドツーエンドで学習し、推論時には元のクリップと拡大クリップの両方の予測を用いる。両者の予測を統合することで検出精度を向上させる。
• 高コストな3D畳み込みやROIアライメントを回避することで、低い推論コストを実現しながらも、高い性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 短時間動画クリップの時間的拡大は、時間行動局所化における短時間行動の特徴表現と検出性能を向上させることができるか？
• RQ2 時間的持続時間が異なる行動の局所化を向上させるために、どのようにクロススケール特徴相関を効果的にモデル化できるか？
• RQ3 元のクリップと拡大クリップの予測を組み合わせることで、それぞれ単独で使用する場合よりも高い性能が得られるか？補完的強みがあると仮定する。
• RQ4 グラフネットワークにおけるエッジタイプ（スケール内対スケール間）の最適な構成は何か？行動持続時間にわたる性能を最大化するには？
• RQ5 提案されたフレームワークは、モデルの複雑さや推論コストを増加させることなく、短時間行動と長時間行動の性能ギャップを縮小できるか？

主な発見

• VSGNは、0.5 IoU閾値でActivityNet-v1.3で35.07%の最先端mAPを達成し、短時間行動（30秒未満）のmAPが19.9%にまで上昇し、すべての先行手法を上回る。
• 元のクリップ（Clip O）と拡大クリップ（Clip U）の予測を組み合わせた結果（Clip O + Clip U）は35.07%の平均mAPを達成し、それぞれ単独での予測（0.5 IoUで52.38%および51.80%）を上回り、補完的強みが明確に示された。
• xGPNでK/2の自由エッジとK/2のスケール間エッジを併用すると最良の性能（35.07%の平均mAP）が得られ、K自由エッジのみまたはKスケール間エッジのみの構成では性能が低下する。
• xGPNをすべてのエンコーダーレベルに適用したモデルが最高のmAP（35.07%）を達成し、単一レベルでのxGN適用よりも優れている。単独で使用した場合、中間レベル（レベル3）が最も効果的であった。
• VSGNは、ActivityNet検証セットで158秒の高速推論時間を達成し、BMNと同等の速度で、G-TADよりも速い。アノテーション数が少ない（1240 vs. 4950）にもかかわらず、ROIアライメントを一切使用しない。
• 次に優れた手法と比較して、短時間行動のmAPが0.6ポイント向上し、最も挑戦的な行動カテゴリで顕著な向上を示した。