[論文レビュー] Multi-shot Temporal Event Localization: a Benchmark

Xiaolong Liu, Yao Hu+4 more|arXiv (Cornell University)|Dec 17, 2020

Human Pose and Action Recognition参考文献 87被引用数 5

ひとこと要約

本論文は、複数ショットにまたがるイベントを対象とした新しいベンチマークタスクであるマルチショット時系列イベントローカライゼーション（MOTEL）を紹介し、31,477件のイベントインスタンスを含むMUSESデータセットを提案する。716時間にわたるプロフェッショナルに編集されたドラマ映像に、平均19ショットの頻度の高いショットカットが含まれる。最先端のアクションローカライゼーション手法でさえ、IoU=0.5の条件下で13.1%のmAPにとどまり、インスタンス内変動の影響が顕著であることが示された。シンプルなベースライン手法により、MUSES上ではmAPが18.9%に向上し、マルチショットイベントに特化した手法の必要性が明らかになった。

ABSTRACT

Current developments in temporal event or action localization usually target actions captured by a single camera. However, extensive events or actions in the wild may be captured as a sequence of shots by multiple cameras at different positions. In this paper, we propose a new and challenging task called multi-shot temporal event localization, and accordingly, collect a large scale dataset called MUlti-Shot EventS (MUSES). MUSES has 31,477 event instances for a total of 716 video hours. The core nature of MUSES is the frequent shot cuts, for an average of 19 shots per instance and 176 shots per video, which induces large intrainstance variations. Our comprehensive evaluations show that the state-of-the-art method in temporal action localization only achieves an mAP of 13.1% at IoU=0.5. As a minor contribution, we present a simple baseline approach for handling the intra-instance variations, which reports an mAP of 18.9% on MUSES and 56.9% on THUMOS14 at IoU=0.5. To facilitate research in this direction, we release the dataset and the project code at https://songbai.site/muses/ .

研究の動機と目的

• 頻繁な編集により複数ショットにまたがるアクションを含む、プロフェッショナルに編集されたテレビドラマや映画におけるイベントローカライゼーションという現実世界の課題に取り組むこと。
• 単一ショットやユーザーゲンレーテッド動画の設定とは異なる、マルチショット時系列イベントローカライゼーションという新しいベンチマークタスクを導入すること。
• この分野における研究を可能にするために、多数のショットカットとマルチショットイベントインスタンスを有する大規模かつ高品質なデータセット（MUSES）を収集・公開すること。
• この新しいベンチマーク上で現在の最先端手法を評価し、ショットカットに起因するインスタンス内変動に対処する際の手法の限界を明らかにすること。
• マルチショット構造を専用にモデル化することで性能が向上することを示すシンプルなベースライン手法を提供すること。

提案手法

• MUSESデータセットは、プロフェッショナルに編集されたドラマ映像から構築され、平均して19ショットのインスタンスが複数ショットにまたがるイベントインスタンスとしてアノテートされている。
• イベントインスタンスは、複数ショットにまたがる一貫性のあるアクションや出来事として定義され、ショット境界が明示的にマークされている。
• スライディングウィンドウによる提案領域（長さ10〜190秒）を用い、1次元畳み込みニューラルネットワーク（1D CNN）ベースの二値分類器によりスコアリングし、0.8の閾値を用いたNMS処理を実施するベースライン手法を提案。
• 提案領域の特徴量は、文脈情報を捉えるために提案領域境界を50%拡張した後、RoIプーリングにより抽出される。
• 4本のブランチ（カーネルサイズ{1×3, 3×3, 3×3, 3×3}、ユニットサイズ{3, 3, 6, 9}）を有するマルチスケール時系列集約モジュールを用いて、長距離依存性をモデル化する。
• 分類（クロスエントロピー）、完全性（ハッジ損失）、境界回帰（Smooth L1損失）の重み付き損失関数を用い、それぞれの重みは1、0.5、0.5である。

Figure 2: Examples of multi-shot events. In each row, we show three consecutive shots in an instance and select two frames per shot for illustration. The scissor icons indicate the shot boundaries.

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の時系列アクションローカライゼーション手法は、頻繁なショットカットを伴うマルチショットイベントにどの程度一般化できるか？
• RQ2 ショットカットに起因する視点の変化、ボケの変化、隠蔽などのインスタンス内変動が、イベントローカライゼーションの性能に及ぼす影響は何か？
• RQ3 シンプルなベースライン手法は、特に複数ショットにまたがる長距離時系列依存性を捉えるという課題に対して、効果的に対処できるか？
• RQ4 MUSESベンチマークは、現実世界のプロフェッショナル編集動画コンテンツにおいて、既存モデルの限界をどの程度露呈するか？
• RQ5 ユーザーゲンレーテッド動画ベンチマーク（例：THUMOS14）で学習したモデルの性能は、MUSESのより複雑なマルチショット設定にどの程度伝搬できるか？

主な発見

• 最先端手法P-GCNは、MUSESデータセット上でIoU=0.5の条件下で13.1%のmAPにとどまり、頻繁なショットカットに起因するインスタンス内変動による性能低下が顕著に示された。
• 提案されたベースライン手法により、MUSES上でのIoU=0.5におけるmAPが18.9%に向上した。これは、マルチショット構造に特化したモデリングが性能向上に寄与することを示している。
• THUMOS14ベンチマーク上では、同じベースライン手法がIoU=0.5で56.9%のmAPを達成しており、既存のベンチマークへの良好な一般化性能が示された。
• MUSESデータセットには、合計716時間の動画にわたり31,477件のイベントインスタンスが含まれており、インスタンス平均19ショット、動画平均176ショットを記録しており、ショットカットの頻度が極めて高いことが示された。
• 現在の手法は、マルチショットシナリオにおける境界検出に苦労しており、提案生成におけるリコールが低いことから、新たなアプローチの必要性が示された。
• https://songbai.site/muses/ でMUSESデータセットおよびコードが公開され、今後のマルチショット時系列イベントローカライゼーション分野の研究基盤が提供された。

Figure 3: Number of instances per category for MUSES. Note that the Y-axis is in logarithm scale.