[論文レビュー] Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering

Long Hoang Dang, Thao Minh Le+2 more|arXiv (Cornell University)|Jun 25, 2021

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、時空間的グラフ上の動的でオブジェクト中心の推論を通じて動画QAをモデル化するニューラルネットワークである階層的オブジェクト指向時空間推論（HOSTR）を提案する。オブジェクト指向時空間推論（OSTR）ユニットの多段階アーキテクチャを用いることで、オブジェクト内での時系列的ダイナミクスと、クエリに従ったオブジェクト間空間的相互作用を捉え、複数の動画QAベンチマークで最先端の性能を達成するとともに、解釈可能性と効率性を向上させた。

ABSTRACT

Video Question Answering (Video QA) is a powerful testbed to develop new AI capabilities. This task necessitates learning to reason about objects, relations, and events across visual and linguistic domains in space-time. High-level reasoning demands lifting from associative visual pattern recognition to symbol-like manipulation over objects, their behavior and interactions. Toward reaching this goal we propose an object-oriented reasoning approach in that video is abstracted as a dynamic stream of interacting objects. At each stage of the video event flow, these objects interact with each other, and their interactions are reasoned about with respect to the query and under the overall context of a video. This mechanism is materialized into a family of general-purpose neural units and their multi-level architecture called Hierarchical Object-oriented Spatio-Temporal Reasoning (HOSTR) networks. This neural model maintains the objects' consistent lifelines in the form of a hierarchically nested spatio-temporal graph. Within this graph, the dynamic interactive object-oriented representations are built up along the video sequence, hierarchically abstracted in a bottom-up manner, and converge toward the key information for the correct answer. The method is evaluated on multiple major Video QA datasets and establishes new state-of-the-arts in these tasks. Analysis into the model's behavior indicates that object-oriented reasoning is a reliable, interpretable and efficient approach to Video QA.

研究の動機と目的

• オブジェクトを持続的で変化する時空間的ライフラインを持つ実体としてモデル化することで、動画質問応答における高レベルで記号的のような推論を可能にすること。
• 視覚的動画データと言語的クエリの間の意味的ギャップを構造的関係的推論によって埋める課題に対処すること。
• クエリと文脈に従って動的にオブジェクト相互作用をモデル化する一般用途のニューラルユニット（OSTR）を開発すること。
• 長時間の動画にスケーラブルであり、複雑な動画イベントの多段階の抽象化をサポートする階層的アーキテクチャを設計すること。
• グラフ構造の表現で明示的なオブジェクトおよび関係の追跡を通じて、動画QAモデルの解釈可能性と信頼性を向上させること。

提案手法

• 本手法は、入力オブジェクト系列、文脈的動画特徴、および言語的クエリを処理するニューラルユニットであるオブジェクト指向時空間推論（OSTR）を採用する。
• 各OSTRユニットは、個々のオブジェクト系列をクエリに関連する表現に要約するために時系列アテンションを適用する。
• オブジェクト間空間的相互作用は、メッセージパッシングを通じてオブジェクト表現を精緻化するためのグラフベースのメカニズム（GCN）を用いてモデル化される。
• OSTRユニットは、動画の時系列構造を模倣する階層的アーキテクチャ（HOSTR）にスタックされ、クリップレベルから動画レベルへのトップダウン的抽象化を可能にする。
• モデルは、時間的および抽象化レベルを越えてオブジェクトの同一性と関係を保持する階層的ネスト型時空間的グラフを構築する。
• 最終的な答えは、グラフ内でのキーマスオブジェクトとその動的相互作用の精錬されたクエリ条件付き表現から導出される。

実験結果

リサーチクエスチョン

• RQ1 持続的オブジェクトライフラインを持つオブジェクト中心の推論は、動画QAにおける性能と解釈可能性を向上させることができるか？
• RQ2 複数の動画時間スケールにわたる時空間的関係の階層的モデリングは、長距離依存性の推論をどのように向上させるか？
• RQ3 クエリに従う動的グラフ構築は、静的アテンションやメモリネットワークと比較して、視覚的および言語的モダリティの推論をどの程度向上させるか？
• RQ4 オブジェクト内時系列アテンションとオブジェクト間空間的相互作用のコンponentsは、モデル性能にそれぞれどのように寄与するか？
• RQ5 一般用途のニューラルユニット（OSTR）は、複雑さが異なるさまざまな動画QAタスクおよびデータセットで効果的に再利用可能か？

主な発見

• HOSTRは、MSVD-QA、MSRVTT-QA、TGIF-QAを含む複数の主要な動画QAベンチマークで、新たな最先端の性能を達成し、優れた推論能力を示した。
• アブレーションスタディの結果、時系列アテンションがシーケンス要約においてBiLSTMを上回り、デフォルト設定で39.4%のテスト精度を示した。
• オブジェクト間相互作用に6層のGCNを使用すると最適な性能が得られ、より多くの層を追加すると勾配消失のため精度が低下した。
• 文脈表現を削除すると、精度は39.4%から37.8%に低下し、文脈表現が動画レベルの文脈を維持する上で極めて重要な役割を果たしていることが確認された。
• 階層的設計は顕著に性能を向上させた：1.5段階の階層では38.7%の精度を達成し、1段階の階層（38.0%）を上回り、長時間の動画へのスケーラビリティを示した。
• 定性的な可視化により、HOSTRが意味的に関連するオブジェクト（例：少女、ボール、犬）およびそれらの関係に注目していることが確認され、人間の視覚的推論パターンと整合した。