[論文レビュー] Learning Answer Embeddings for Visual Question Answering

Hexiang Hu, Wei‐Lun Chao+1 more|arXiv (Cornell University)|Jun 10, 2018

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、画像と質問のペアおよび答えの埋め込みを共同で学習することで、答えの間の意味的関係を捉える確率的視覚質問応答モデルを提案する。学習された埋め込みを用いて答えの類似度をモデル化することで、答えの重複が少ないデータセット間でのゼロショット一般化および転移学習が向上し、訓練済みの分類ベースラインを上回る性能を示している。これは、ドメイン内およびデータセット間設定の両方で有効である。

ABSTRACT

We propose a novel probabilistic model for visual question answering (Visual QA). The key idea is to infer two sets of embeddings: one for the image and the question jointly and the other for the answers. The learning objective is to learn the best parameterization of those embeddings such that the correct answer has higher likelihood among all possible answers. In contrast to several existing approaches of treating Visual QA as multi-way classification, the proposed approach takes the semantic relationships (as characterized by the embeddings) among answers into consideration, instead of viewing them as independent ordinal numbers. Thus, the learned embedded function can be used to embed unseen answers (in the training dataset). These properties make the approach particularly appealing for transfer learning for open-ended Visual QA, where the source dataset on which the model is learned has limited overlapping with the target dataset in the space of answers. We have also developed large-scale optimization techniques for applying the model to datasets with a large number of answers, where the challenge is to properly normalize the proposed probabilistic models. We validate our approach on several Visual QA datasets and investigate its utility for transferring models across datasets. The empirical results have shown that the approach performs well not only on in-domain learning but also on transfer learning.

研究の動機と目的

• 多値分類の限界に対処するため、答えを独立したカテゴリとして扱い、意味的関係を無視する視覚質問応答（Visual QA）の問題を改善すること。
• 特にオープンエンドVQA設定において、答えの語彙の重複が少ないデータセット間での効果的な転移学習を可能にすること。
• 訓練語彙外の未見の答えを推論時に埋め込み可能にするモデルを開発し、学習語彙を超えた一般化性能を向上させること。
• 数百万もの候補答えを含む大規模な答え空間におけるスケーラブルな学習を可能にする、効率的な最適化スキームを設計すること。
• 画像-質問ペアと答えの埋め込みの間の意味的整合性が、モデルの頑健性と性能を向上させることを示すこと。

提案手法

• モデルは、画像-質問ペアのための1つの埋め込み関数と、個々の答えのための別の埋め込み関数を学習し、それらを共有埋め込み空間にマップする。
• モデルは、画像-質問埋め込みと答え埋め込みの内積に基づく確率的スコア関数を用い、最も可能性の高い答えを予測する。
• 主なイノベーションは、1つのミニバッチ内で適応的ネガティブサンプリングを実施することで、数千もの候補答えを含む大規模な確率的モデルを効率的に最適化することである。
• モデルは1サンプルあたり1度だけ画像-質問埋め込みを計算するため、再計算なしに多数の候補答えに対して効率的な推論が可能である。
• 正しい答えの尤度をネガティブな答えに対して最大にするためのマージンベースの対照的損失を用い、正規化は適応的サンプリングによって処理される。
• フレームワークはモジュール型であり、CNN-RNNやトランスフォーマーに基づくアーキテクチャを含む、任意の画像・テキストエンコーダと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 意味的関係を捉えることで、答えの埋め込みを学習することで、ドメイン内VQAタスクの性能向上が図れるか？
• RQ2 訓練データに存在しない未見の答えに対しても、モデルがゼロショット推論を可能にするか？
• RQ3 答えの埋め込みの使用が、語彙の重複が少ないデータセット間での転移学習性能を向上させるか？
• RQ4 大規模な候補答え集合を想定した場合、モデルの効率性はどのようにスケーリングされるか？また、推論速度において標準分類ベースラインを上回るか？
• RQ5 答えの埋め込みが、t-SNE可視化や下流タスクの性能から示されるように、文法的・意味的類似性をどの程度正確に捉えているか？

主な発見

• 提案手法fPMCは、標準分類ベースライン（CLS）を上回り、Visual7WからqaVGへの転移学習において12.0%の向上（42.8%から54.8%）を達成した。
• VQA2データセットでは、fPMCはトップ3000オープンエンド精度で43.4%を達成し、転移設定においてCLS（31.7%）およびuPMC（29.5%）を顕著に上回った。
• VQA2から「Yes/No」答えを除いた場合、fPMCはCLSを最大13.7ポイントも上回った。これは、意味的に豊かな答えに対して埋め込みの利点が顕著に現れていることを示している。
• fPMCは標準分類と同等の推論速度（1ミニバッチあたり22.14ms）を達成したのに対し、uPMCは10倍以上遅く（367.62ms）、計算効率が優れていることが確認された。
• t-SNE可視化により、学習された答えの埋め込みが意味的・文法的類似性を保持していることが確認された。例えば、「running」と「jogging」は埋め込み空間で近くに位置している。
• VQA2とVisual7Wといった人気データセット間で、トップ1000の答えのうち50–65%しか共有されていないため、転移の課題が顕著であり、埋め込みベースの一般化の価値が明確になった。