[論文レビュー] ActivityNet-QA: A Dataset for Understanding Complex Web Videos via Question Answering

Yu Zhou, Dejing Xu+5 more|arXiv (Cornell University)|Jun 6, 2019

Multimodal Machine Learning Applications参考文献 37被引用数 11

ひとこと要約

本稿では、ActivityNetの長時間で複雑なウェブ動画5,800本から成る、58,000組のQAペアを含む大規模かつ完全に人手でアノテートされた動画質問応答（VideoQA）データセット、ActivityNet-QAを紹介する。本研究ではVideoQAベースラインの評価を行い、特に空間的・時間的推論を要する長時間動画において、動的サンプリングおよび平均プーリング統合戦略が性能を顕著に向上させることを示している。

ABSTRACT

Recent developments in modeling language and vision have been successfully applied to image question answering. It is both crucial and natural to extend this research direction to the video domain for video question answering (VideoQA). Compared to the image domain where large scale and fully annotated benchmark datasets exists, VideoQA datasets are limited to small scale and are automatically generated, etc. These limitations restrict their applicability in practice. Here we introduce ActivityNet-QA, a fully annotated and large scale VideoQA dataset. The dataset consists of 58,000 QA pairs on 5,800 complex web videos derived from the popular ActivityNet dataset. We present a statistical analysis of our ActivityNet-QA dataset and conduct extensive experiments on it by comparing existing VideoQA baselines. Moreover, we explore various video representation strategies to improve VideoQA performance, especially for long videos. The dataset is available at https://github.com/MILVLG/activitynet-qa

研究の動機と目的

• 既存のVideoQAデータセットが小規模、自動生成、短時間、アクションの多様性に制限があるという限界を是正すること。
• ActivityNetデータセットから得た長時間で複雑なウェブ動画を用いて、大規模かつ完全に人手でアノテートされたVideoQAベンチマークを構築すること。
• 既存のVideoQAベースラインを用いて、新しいデータセットの難易度を評価し、動画表現戦略の影響を分析すること。
• 長時間動画理解における効果的な動画特徴抽出および統合技術を探索すること。
• 将来的な多言語VideoQA研究を支援するための二か国語対応でアライメントされたQAリソースを提供すること。

提案手法

• ActivityNetの5,800本の動画から、1本の動画あたり10組の人的アノテーションによるQAペアを収集し、合計58,000組のQAペアを構築。
• I3Dネットワークを用いたマルチストリーム動画特徴抽出パイプラインを採用し、外観および動きの特徴を生成。
• 代表的な動画ユニットを抽出するために、動的サンプリング（DS）および固定サンプリング（FS）戦略を適用。DSではアクションが密集したセグメントを優先的に選択。
• 空間的・時間的推論を向上させるために、時間的注意メカニズムと平均プーリングを用いた特徴統合を実施。
• 複数のVideoQAモデル（E-VQA、E-MN、E-SA）を、異なる統合およびサンプリング戦略を用いて本データセットで評価。
• サンプリング周波数（T = 20, 40, 60）および統合手法に関するアブレーションスタディを実施し、性能のトレードオフを分析。

実験結果

リサーチクエスチョン

• RQ1 既存のVideoQAモデルは、ActivityNet-QAのような大規模で長時間にわたる、人的にアノテートされたデータセットにおいて、どのように一般化するか？
• RQ2 固定サンプリングと動的サンプリングの異なる動画サンプリング戦略が、特に長時間動画においてVideoQAの正確性に与える影響は何か？
• RQ3 平均プーリング、マックスプーリング、早期統合のいずれの動画特徴統合戦略が、最高の性能と頑健性を達成するか？
• RQ4 サンプリング周波数（T = 20, 40, 60）の違いが、モデルの正確性および計算複雑性に与える影響は何か？
• RQ5 現在のVideoQAモデルの失敗モードは何か。特に、時間的推論と静的フレーム理解の間でどのような差が見られるか？

主な発見

• E-SAモデルは、すべての質問タイプにおいてE-VQAおよびE-MNを上回り、Yes/No質問では59.4%、'Other'タイプでは28.4%の正確性を達成した。
• 動的サンプリング（DS）は、固定サンプリング（FS）と比較して、すべてのベースラインモデルで少なくとも1%の性能向上を示し、アクション関連のフレームを的確に捉える有効性を裏付けた。
• 平均プーリング統合戦略が、すべてのサンプリング周波数および方法において、最高の正確性と最も優れた頑健性を達成した。
• サンプリング周波数が増加する（T = 20から60に）ことで、固定サンプリングと動的サンプリングの性能差が縮まり、より密なサンプリングが動画の詳細をより多く保持していることを示唆した。
• 高密度サンプリング（T = 60）はモデルの複雑性を増加させ、性能を低下させる傾向にあり、詳細性と効率性のトレードオフが存在することを示した。
• 定性的な分析から、モデルは静的フレームに焦点を当てた質問ではより成功するが、時間的推論を要する質問では失敗することが多く、将来的な研究における主な課題であることが明らかになった。