[論文レビュー] Self-supervised pre-training and contrastive representation learning for multiple-choice video QA

Seonhoon Kim, Seohyeong Jeong+3 more|arXiv (Cornell University)|Sep 17, 2020

Multimodal Machine Learning Applications参考文献 33被引用数 5

ひとこと要約

本論文は、複数選択型動画質問応答のための自己教師付き事前学習および対照的表現学習フレームワークを提案する。事前学習段階では、答え予測を質問検索に再定式化し、正解の答えをポジティブとして、他の選択肢をネガティブとして扱う教師あり対照的損失を適用することで、TVQA、TVQA+、DramaQAで最先端の性能を達成した。局所的に整合されたアテンションと補助学習信号を用いることで、TVQA+の検証セットで75.83%の精度を達成した。

ABSTRACT

Video Question Answering (Video QA) requires fine-grained understanding of both video and language modalities to answer the given questions. In this paper, we propose novel training schemes for multiple-choice video question answering with a self-supervised pre-training stage and a supervised contrastive learning in the main stage as an auxiliary learning. In the self-supervised pre-training stage, we transform the original problem format of predicting the correct answer into the one that predicts the relevant question to provide a model with broader contextual inputs without any further dataset or annotation. For contrastive learning in the main stage, we add a masking noise to the input corresponding to the ground-truth answer, and consider the original input of the ground-truth answer as a positive sample, while treating the rest as negative samples. By mapping the positive sample closer to the masked input, we show that the model performance is improved. We further employ locally aligned attention to focus more effectively on the video frames that are particularly relevant to the given corresponding subtitle sentences. We evaluate our proposed model on highly competitive benchmark datasets related to multiple-choice video QA: TVQA, TVQA+, and DramaQA. Experimental results show that our model achieves state-of-the-art performance on all datasets. We also validate our approaches through further analyses.

研究の動機と目的

• 新しい学習方式を用いて、モデルの初期化と表現学習を向上させることで、複数選択型動画質問応答を改善すること。
• 追加のアノテーションやデータを必要とせずに、微細な動画および言語理解の課題に対処すること。
• 自己教師付き事前学習と対照的学習を統合的に適用することで、動画QAベンチマークにおける性能向上を図ること。
• 局所的に整合されたアテンションが、関連する動画フレームと字幕をよりよく一致させる効果を検証すること。
• 補助損失（対照的学習とスパン予測）がモデルの汎化性能と精度に与える影響を検証すること。

提案手法

• 自己教師付き事前学習段階において、動画QAタスクを、動画と字幕の文脈から正しい質問を予測する問題に再定式化することで、追加のアノテーションを必要とせずに、より広範な文脈的学習を可能にする。
• 本学習段階では、正解の答えをポジティブサンプル、他の選択肢をネガティブサンプルとして扱う教師あり対照的損失を適用する。
• 対照的学習段階で、正解の答えをマスクした入力を用い、元の入力をポジティブアーキテクチャとして扱うことで、表現の整合性を促進する。
• 字幕の文と時間的に隣接する動画フレームとの間に、アテンションスコアを計算する局所的に整合されたアテンションメカニズムを導入し、モダリティの整合性を向上させる。
• 主なQA損失に加えて、対照的損失とオプションのスパン損失を備えたマルチタスク学習設定を採用する。
• ResNet-101を用いた事前学習済みの視覚特徴と、Faster R-CNNを用いたオブジェクト検出に加え、BERTベースのテキストエンコーダーを用いて、動画・言語の統合表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習段階で答え予測を質問検索に変換することで、モデルの初期化と下流タスクの性能が向上するか？
• RQ2 正解と誤答の表現を分離する教師あり対照的損失を適用することで、複数選択型動画QAにおける推論性能が向上するか？
• RQ3 局所的に整合されたアテンションは、関連する動画フレームと字幕を一致させる点で、グローバルに整合されたアテンションよりも優れているか？
• RQ4 補助損失（対照的学習とスパン）が、動画QAベンチマークにおける性能向上にどの程度寄与するか？
• RQ5 対照的損失を適用した際、特にポジティブと最も近いネガティブ表現の間隔が、訓練の進行に伴いどのように変化するか？

主な発見

• 提案手法は、TVQA+の検証セットで最先端の75.83%の精度を達成した。
• マスクされた入力を用いた対照的学習により、精度が74.54%から75.16%に上昇し、補助学習信号としての有効性が裏付けられた。
• 局所的に整合されたアテンションを用いたモデルは、グローバルに整合されたアテンションを用いたモデルを上回り、モダリティの整合性が向上し、関係のないフレーム・字幕ペairのノイズが低減された。
• 対照的損失により、訓練の進行に伴い、ポジティブ表現と最も近いネガティブ表現との距離が明確に増加したことが確認され、より良い表現分離が達成された。
• 定性的な分析では、モデルが関連する動画スパンを正しく局所化し、言語的キーワード（例：'moving out' と 'officially no longer be roommates'）を適切に一致させている一方で、ベースラインは 'door' などの不適切なキーワードに注目することで失敗していることが明らかになった。
• 自己教師付き事前学習に続いて対照的微調整を行うことで、最良の性能が得られ、両段階の相乗効果が裏付けられた。