[論文レビュー] COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis

Yansong Tang, Dajun Ding+6 more|arXiv (Cornell University)|Mar 7, 2019

Human Pose and Action Recognition参考文献 37被引用数 14

ひとこと要約

本稿では、12の日常的分野にまたがる180のタスクにおいて、11,827本の教育的ビデオから成る大規模かつ階層的なデータセットCOINを紹介する。各ビデオはステップの説明と時間的境界がアノテーションされている。本稿では、タスクレベルの文脈を活用することでステップ検出の性能を向上させるタスク一貫性手法を提案し、アクション検出ベンチマークにおいて顕著な性能向上を達成した。COINではmAPが8.12に達したのに対し、Breakfastでは15.84、THUMOS14では29.10であった。

ABSTRACT

There are substantial instructional videos on the Internet, which enables us to acquire knowledge for completing various tasks. However, most existing datasets for instructional video analysis have the limitations in diversity and scale,which makes them far from many real-world applications where more diverse activities occur. Moreover, it still remains a great challenge to organize and harness such data. To address these problems, we introduce a large-scale dataset called "COIN" for COmprehensive INstructional video analysis. Organized with a hierarchical structure, the COIN dataset contains 11,827 videos of 180 tasks in 12 domains (e.g., vehicles, gadgets, etc.) related to our daily life. With a new developed toolbox, all the videos are annotated effectively with a series of step descriptions and the corresponding temporal boundaries. Furthermore, we propose a simple yet effective method to capture the dependencies among different steps, which can be easily plugged into conventional proposal-based action detection methods for localizing important steps in instructional videos. In order to provide a benchmark for instructional video analysis, we evaluate plenty of approaches on the COIN dataset under different evaluation criteria. We expect the introduction of the COIN dataset will promote the future in-depth research on instructional video analysis for the community.

研究の動機と目的

• 調理をはるかに超える現実世界のタスクをカバーする大規模かつ多様な教育的ビデオデータセットの不足に対処すること。
• ドメイン、タスク、ステップの3段階階層構造を用いて、教育的ビデオの包括的分析を可能にすること。
• 従来のビデオモードアノテーションに比べて73.2%の時間短縮を実現する、効率的なアノテーションツールボックスの開発。
• 多様で現実世界の教育的ビデオを用いて、ステップローカライゼーションおよびアクション検出のベンチマークを確立すること。
• ステップ間の依存関係をタスクレベルの文脈を用いてモデル化することで、ステップローカライゼーションの精度を向上させるタスク一貫性手法の提案。

提案手法

• COINデータセットは階層的分類体系に従って構成されており、12のドメイン（例：車両、家電製品）、180のタスク、46,354のステップ（時間的境界付き）のアノテーションが含まれる。
• 新規のフレームモードアノテーションツールボックスにより、アノテーション時間をビデオモードの26.8%にまで短縮し、大規模なラベリングを効率的に行えるようになった。
• タスク一貫性手法は、下位から上位への戦略を用い、提案スコアからタスクラベルを予測した後、上位から下位への精練によりステップローカライゼーションの正確性を向上させる。
• 従来の提案ベースのアクション検出モデル（例：SSN）と統合するため、ハイパーパrameter α を用いてタスクレベルの予測とステップ提案を融合する。
• ステップ間の内在的依存関係を活用し、予測されたタスクと整合しない提案をフィルタリングすることで、ローカライゼーションのロバスト性を向上させる。
• 複数の評価基準（mAP、正答率など）を用いて、ビデオ分類およびアクション検出の両タスクで評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 最先端のアクション検出モデルは、COINのような大規模かつ多様な教育的ビデオデータセットにおいて、どの程度一般化性能を示すか？
• RQ2 タスクレベルの文脈をモデル化することで、教育的ビデオにおける個々のステップのローカライゼーション精度はどの程度向上するか？
• RQ3 提案されたアノテーションツールボックスは、従来のビデオモードアノテーションに比べて、どの程度効率的でスケーラブルか？
• RQ4 ドメインの多様性と視覚的類似性は、ステップローカライゼーション性能にどのような影響を及えるか？
• RQ5 タスク一貫性手法は、異なるタスクにおいて、誤検出（ファルス・ポジティブ）をどの程度低減するか？

主な発見

• COINデータセットには、12のドメインにまたがる180のタスクの11,827本のビデオが含まれ、46,354のステップレベルのアノテーションと時間的境界が付与されており、既存の教育的ビデオベンチマークに比べてスケールと多様性が顕著に拡大されている。
• 提案されたアノテーションツールボックスにより、25本のビデオについて、平均アノテーション時間がビデオモードの88.30分からフレームモードの23.43分に73.2%短縮され、高い効率性が実証された。
• タスク一貫性手法により、COINにおけるステップローカライゼーションのmAPは8.12に向上し、ベースライン手法を上回り、多様なドメインにわたるロバスト性を示した。
• 視覚的変化が大きいタスク（例：砂糖を吹き飛ばす、クイリングをやる）ではmAPが15%以上に達した一方、類似したシーンを持つタスク（例：石鹸を作る、時計のベルトを調整する）ではmAPが10%未満にとどまり、視覚的類似性が主な課題であることが確認された。
• YouTubeで最も再生回数の多かったタスク「フレンチフライを作る」は1.7×10⁸回再生されており、選択されたタスクの現実世界での関連性と実用的価値を裏付けている。
• COINにおけるビデオ分類の正答率は88.02%に達し、より小さなベンチマーク（例：Breakfast）の15.84 mAPに比べ顕著に高い水準にあり、データセットの複雑さと代表性を示している。