[論文レビュー] Visual Question Generation as Dual Task of Visual Question Answering

Yikang Li, Nan Duan+4 more|arXiv (Cornell University)|Sep 21, 2017

Multimodal Machine Learning Applications参考文献 26被引用数 28

ひとこと要約

本稿では、共有パラメータと双対正則化を活用して、視覚的質問応答（VQA）と視覚的質問生成（VQG）を二重のタスクとして統合的に学習するエンドツーエンドの統一フレームワークiQANを提案する。画像の文脈を用いて質問と答えを相互に逆転させる1つのモデルを訓練することにより、CLEVRおよびVQA2データセットにおけるVQAの精度が向上し、複数のVQAアーキテクチャで一貫した向上が得られ、ラベル付きの答えからVQGを用いて合成された質問-答えペアを生成することで、有効なデータ拡張が可能になる。

ABSTRACT

Recently visual question answering (VQA) and visual question generation (VQG) are two trending topics in the computer vision, which have been explored separately. In this work, we propose an end-to-end unified framework, the Invertible Question Answering Network (iQAN), to leverage the complementary relations between questions and answers in images by jointly training the model on VQA and VQG tasks. Corresponding parameter sharing scheme and regular terms are proposed as constraints to explicitly leverage Q,A's dependencies to guide the training process. After training, iQAN can take either question or answer as input, then output the counterpart. Evaluated on the large-scale visual question answering datasets CLEVR and VQA2, our iQAN improves the VQA accuracy over the baselines. We also show the dual learning framework of iQAN can be generalized to other VQA architectures and consistently improve the results over both the VQA and VQG tasks.

研究の動機と目的

• VQAとVQGの間の相互監視の欠如を解消するため、共通の視覚的および言語的表現を有する二重タスクとしてVQAとVQGを扱う。
• パラメータ共有と双対性制約を用いた共同学習により、一般化性能と表現学習を向上させる。
• ラベル付きの答えから低コストでラベル付けされた答えを用いてVQGモデルを活用し、合成された訓練データを生成することでVQA性能を向上させる可能性を検討する。
• ベースとなるMutanモデルにとどまらず、さまざまなVQAアーキテクチャに適用可能な汎用的なフレームワークを開発する。

提案手法

• Mutanモデルに基づく可逆なクロスアテンション統合モジュールを提案し、画像＋質問から答えへの推論、および画像＋答えから質問への推論という双方向推論を可能にする。
• VQAとVQGの間で同じ視覚エンコーダ、質問エンコーダ、答えデコーダを共有するパラメータ共有スキームを導入し、構造的双対性を強制する。
• 共同学習中に質問-答えペアの依存関係を明示的にモデル化するため、双対性正則化を適用する。
• 答えから質問を予測する段階と、質問から答えを予測する段階を交互に繰り返す二重学習目的関数を採用し、モデルの頑健性と一般化性能を向上させる。
• 訓練済みのVQGモデルを活用し、与えられた答えから合成された質問を生成することで、低コストでラベル付けされた答えを用いたデータ拡張を実現する。
• 実際の質問-答えペアでの微調整を、拡張データで事前学習した後に実施することで、モデル品質と分布整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 パラメータ共有と双対性正則化を用いたVQAとVQGの共同学習が、両タスクの性能向上に寄与するか。
• RQ2 提案された二重学習スキームは、標準ベンチマーク上でのVQA精度とVQG生成品質の向上にどの程度効果的か。
• RQ3 iQANフレームワークは、ベースとなるMutanモデルにとどまらず、他のVQAアーキテクチャにも一般化可能か。
• RQ4 VQGを用いてラベル付きの答えから高品質な合成訓練データを生成することで、VQA性能の向上にどの程度寄与するか。
• RQ5 限定的な実際の質問-答えペアと組み合わせた場合、VQGによって生成された質問を用いたデータ拡張が一般化性能の向上に寄与するか。

主な発見

• iQANはVQA2およびCLEVRベンチマークで最先端の性能を達成し、ベースラインモデルよりもVQA精度が優れている。
• VQA2データセットにおいて、iQANの二重学習モデルは、訓練データの0.5をラベル付きの質問-答えペアとして使用し、残りの0.5をデータ拡張用の答えとして使用した場合、トップ1正解率が48.48%に達する。
• Mutan、MLB、ResNet-LSTMを含む複数のVQAアーキテクチャにおいて一貫した性能向上が得られ、ベースモデルにとどまらない一般化性能が実証された。
• VQGを用いたデータ拡張戦略（VQG+DT+FT）は、ベースラインおよび標準的な二重学習を大きく上回り、元のデータの10%しか使用しない状況でも、トップ1正解率が39.95%に達する。
• 二重学習スキームは、同時にVQAとVQGの両方の性能を向上させ、二つのタスクの相補的性を裏付けた。
• 双対性正則化とパラメータ共有は、訓練を効果的に正則化し、より良い一般化性能とより頑健なマルチモodal表現をもたらした。