[論文レビュー] TutorialVQA: Question Answering Dataset for Tutorial Videos

Anthony Colas, Seokhwan Kim+4 more|arXiv (Cornell University)|Dec 2, 2019

Multimodal Machine Learning Applications参考文献 17被引用数 4

ひとこと要約

本論文では、画像編集ツールのスクリーンキャストチュートリアル動画から手作業で収集した約6,000組の（動画、質問、回答スパン）の三つ組みから構成される、TutorialVQAと呼ばれる新しい動画質問応答データセットを紹介する。このタスクは、短いテキスト回答ではなく、動画スパンとしてのマルチステップで非事実的（non-factoid）な回答の局所化に焦点を当てており、ベースラインの結果は低性能であることが示され、このタスクは困難であり、教育的動画における正確なスパン局所化に向けた新しいモデルの開発が不可欠であることを示している。

ABSTRACT

Despite the number of currently available datasets on video question answering, there still remains a need for a dataset involving multi-step and non-factoid answers. Moreover, relying on video transcripts remains an under-explored topic. To adequately address this, We propose a new question answering task on instructional videos, because of their verbose and narrative nature. While previous studies on video question answering have focused on generating a short text as an answer, given a question and video clip, our task aims to identify a span of a video segment as an answer which contains instructional details with various granularities. This work focuses on screencast tutorial videos pertaining to an image editing program. We introduce a dataset, TutorialVQA, consisting of about 6,000manually collected triples of (video, question, answer span). We also provide experimental results with several baselines algorithms using the video transcripts. The results indicate that the task is challenging and call for the investigation of new algorithms.

研究の動機と目的

• 非事実的でマルチステップの質問に応えることができ、短いテキスト応答ではなくスパンベースの応答をサポートする動画QAデータセットの不足を補うこと。
• 答えが複数のセグメントに散らばり、詳細な局所化を要する教育的スクリーンキャスト動画に特化したデータセットを作成すること。
• 長時間のチュートリアル動画において、現在のVQAベンチマークであまり活用されていない動画トランスクリプトを用いたスパンベースの応答局所化の可能性を検討すること。
• 文のレベルでの予測と動画セグメント検索の両タスクにおいてベースラインモデルを評価し、スパン局所化における顕著な課題を明らかにすること。
• 現在のモデルが正確なスパン局所化に苦労していることから、今後の研究を促すために、正しく特定された動画であっても境界が正確に特定できないという事実を示すこと。

提案手法

• データセットであるTutorialVQAは、6,000組の手作業で収集された三つ組み（動画クリップ、自然言語の質問、対応する回答スパン）から構成される。
• 回答スパンは、非事実的「どうやって〜するか」の質問に対する完全な答えを含む、連続する動画セグメントとして定義され、粒度は可変である。
• ベースラインモデルは、動画トランスクリプト、質問、および候補となるセグメントをTF-IDFベクトル化で符号化し、コサイン類似度を用いて最も関連性の高いセグメントを特定する。
• 最初のベースラインは、スパン局所化におけるわずかな境界誤差を補うために許容ウィンドウを用いた文のレベルでの予測を実行する。
• 2番目のベースラインは、TF-IDFコサイン類似度に基づいて上位10個の最も類似した動画をフィルタリングし、それぞれの動画内で最良のセグメントを選択することで、動画セグメント検索を実行する。
• 3番目のベースラインは、動画フィルタリングとセグメント選択を組み合わせ、全体の性能と、正しい動画が上位10個内にある条件付きでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の動画質問応答モデルは、教育的チュートリアル動画において、マルチステップで非事実的な答えをスパンとして正確に局所化できるか？
• RQ2 長時間のチュートリアル動画において、動画トランスクリプトのみを用いてスパンベースの応答局所化はどの程度有効か？
• RQ3 事前に関連する動画をフィルタリングすることで、セグメント検索の精度が向上するか？
• RQ4 正しい領域は特定できているにもかかわらず、なぜ現在のモデルは答えの境界を正確に特定できないのか？
• RQ5 ポインタネットのようなアーキテクチャの改善は、スパン境界予測の正確性を向上させうるか？

主な発見

• 許容ウィンドウを用いた最初のベースラインは、ウィンドウサイズ6で14.43％の正確性にとどまり、境界の局所化が著しく不十分であることを示している。
• 2番目のベースライン（動画セグメント検索）は、文のレベルでの予測タスクで23.41％の正確性を達成しており、有効性が限定的であることが示された。
• 正しい動画が上位10個のフィルタリング内にある場合、セグメント検索の正確性は63.85％に上昇し、動画フィルタリングが性能向上に顕著に寄与することが示された。
• 誤差分析から、92％の誤った予測が正解スパンと重複しているが、境界選択が不正確であることが判明し、境界モデリングの改善が求められることが示された。
• ポインタネットを用いることで、スパン予測の検索空間はn²から2nに削減され、すべての可能なスパンではなく境界に近い文に焦点を当てるため、正確性の向上が期待される。
• 結果から、現在のモデルはこのタスクに対して不十分であることが明らかとなり、視覚的および言語的信号を統合する新しいアーキテクチャとマルチモーダルアプローチの開発が不可欠であることが示された。