[論文レビュー] Transferring Domain-Agnostic Knowledge in Video Question Answering

Tianran Wu, Noa García+4 more|arXiv (Cornell University)|Oct 26, 2021

Multimodal Machine Learning Applications参考文献 31被引用数 5

ひとこと要約

本論文は、分野に依存しない知識（例：一般的な常識的推論）と分野固有の知識に知識を分離することで、異なるデータセット間での有効な転送を可能にする、知識ベースの転移学習フレームワークを提案する。ドメインに依存しない知識を媒体として事前学習モデルを微調整し、新たに構築されたデータセット KnowIT-X（21,412件の人的アノテーション付きQAペアと知識を含む）を用いることで、顕著な性能向上が達成された。これは、ドメインに依存しない知識が転送可能であり、未学習のドメインにおいてVideoQAの精度を最大10.5%向上させることを示している。

ABSTRACT

Video question answering (VideoQA) is designed to answer a given question based on a relevant video clip. The current available large-scale datasets have made it possible to formulate VideoQA as the joint understanding of visual and language information. However, this training procedure is costly and still less competent with human performance. In this paper, we investigate a transfer learning method by the introduction of domain-agnostic knowledge and domain-specific knowledge. First, we develop a novel transfer learning framework, which finetunes the pre-trained model by applying domain-agnostic knowledge as the medium. Second, we construct a new VideoQA dataset with 21,412 human-generated question-answer samples for comparable transfer of knowledge. Our experiments show that: (i) domain-agnostic knowledge is transferable and (ii) our proposed transfer learning framework can boost VideoQA performance effectively.

研究の動機と目的

• VideoQAにおけるドメインに依存しない知識が、異なる動画ドメイン間で転送可能かどうかを調査すること。
• ソースドメインとターゲットドメインの間の性能格差を、ドメイン固有の知識の干渉を軽減することで是正すること。
• ドメインに依存しない知識の転送を通じてモデルの汎化性能を向上させる、知識指向の転移学習フレームワークの構築。
• 人的アノテーション付きQAペアと関連知識を備えた、新たな大規模なVideoQAデータセット KnowIT-X の構築。
• 検出（DET）とアライメント（DA）モジュールの組み合わせが、知識の根拠付けと推論性能に与える影響の評価。

提案手法

• フレームワークは知識をドメインに依存しないものとドメイン固有のものに分類し、ドメインに依存しない知識をデータセット間での転送可能な媒体として使用する。
• TV番組「Friends」から抽出され、ソースデータセットのドメイン（『The Big Bang Theory』）とは異なる、21,412件の人的生成QAペアを含む新しいVideoQAデータセット KnowIT-X が構築された。各QAペアには関連知識がアノテートされている。
• 本手法は、ソースデータセット（KnowIT）で事前学習し、ターゲットデータセット（KnowIT-X）で微調整するプロセスを採用する。両方の段階で、取得した知識と真値の知識を監視情報として用いる。
• 検出（DET）モジュールは質問と動画クリップ内の固有名を特定し、アライメント（DA）モジュールはこれらのエンティティを関連知識と一致させることで、根拠付けと推論を向上させる。
• モデルは画像、キャプション、顔の特徴を視覚的入力として用い、知識は外部ソースまたは真値から取得する。小規模な設定ではデータ拡張のためのバックトランスレーションを適用する。
• 転移学習は、ターゲットモデルをソースモデルの重みで初期化し、ドメインに依存しない知識を用いて微調整することで実施され、ドメイン固有のバイアスを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 VideoQAにおけるドメインに依存しない知識は、異なる動画ドメイン間で効果的に転送可能か？
• RQ2 ドメインに依存しない知識の組み込みが、異なるドメインを持つターゲットデータセットにおけるVideoQA性能に与える影響は何か？
• RQ3 検出（DET）とアライメント（DA）モジュールを組み合わせることで、知識の根拠付けと正答率にどのような影響があるか？
• RQ4 学習データのサイズが、VideoQAにおける転移学習の性能に及ぼす影響はどの程度か？
• RQ5 取得した知識と真値の知識を用いる場合、モデルの汎化性能と頑健性にどのような差が生じるか？

主な発見

• 提案された転移学習フレームワークは、直接学習と比較して KnowIT-X におけるVideoQA精度を最大10.5%向上させた。特にDETおよびDAモジュールを併用した場合に最高の性能が達成された。
• KnowITで事前学習し、KnowIT-Xで微調整したモデルは、真値の知識を用いることで、全KnowIT-Xデータセットにおいて0.850の動画推論精度を達成し、直接学習より10.5%高い性能を示した。
• キャプションを視覚的入力として用いた場合、すべての設定で最高の性能を示し、転移学習とDET・DAの両方を有効にした場合に0.758の精度を達成した。
• DETおよびDAモジュールの両方を含めることで、片方またはいずれも使用しない場合と比較して、精度が3.5〜5.5パーセンテージポイント向上した。これは、両モジュールが知識の根拠付けにおいて補完的役割を果たしていることを示している。
• 全KnowIT-Xデータセット（v-full）で学習したモデルは、真値の知識を用いることで0.850の精度を達成した。これは、十分なデータと知識の統合が高性能を達成するために不可欠であることを示している。
• 定性的な分析から、転移学習は知識を質問と正答にうまく一致させているのに対し、直接学習では「hat」のようなドメイン固有のエンティティに過剰に注目してしまうことが確認された。