[論文レビュー] Visual Question Answering with Prior Class Semantics

Violetta Shevchenko, Damien Teney+2 more|arXiv (Cornell University)|May 4, 2020

Multimodal Machine Learning Applications参考文献 26被引用数 4

ひとこと要約

本論文では、語彙埋め込みを用いて事前知識を統合することで、意味的空間における回帰的目的を導入し、答えの予測の整合性と正確性を向上させるマルチタスクVQAフレームワークを提案する。この手法はGQAでSOTA性能を達成し、訓練時に見られなかった答えのゼロショット予測を可能とし、多様な質問タイプにわたり高い頑健性を示す。

ABSTRACT

We present a novel mechanism to embed prior knowledge in a model for visual question answering. The open-set nature of the task is at odds with the ubiquitous approach of training of a fixed classifier. We show how to exploit additional information pertaining to the semantics of candidate answers. We extend the answer prediction process with a regression objective in a semantic space, in which we project candidate answers using prior knowledge derived from word embeddings. We perform an extensive study of learned representations with the GQA dataset, revealing that important semantic information is captured in the relations between embeddings in the answer space. Our method brings improvements in consistency and accuracy over a range of question types. Experiments with novel answers, unseen during training, indicate the method's potential for open-set prediction.

研究の動機と目的

• 答えの間の意味的関係を無視する固定分類VQAモデルの限界を是正すること。
• 答えの意味に関する事前知識を統合することで、モデルの一般化性能と頑健性を向上させること。
• 学習時に登場しなかった新しい語彙外の答えのオープンセット予測を可能とすること。
• 学習された答えの意味的表現が、多様な質問タイプにわたりVQA性能をどのように向上させるかを調査すること。

提案手法

• モデルはVQAをマルチタスク学習問題として扱い、候補答えに対する分類と意味的埋め込み空間における回帰の両方を組み合わせる。
• 答えの表現は、事前学習済みのGloVe語彙埋め込みを用いて初期化され、事前意味的知識が組み込まれる。
• 統合損失関数は、交差エントロピー分類損失と、答えの埋め込みにおける平均二乗誤差回帰損失を組み合わせる。
• 推論時、答え行列を新しい埋め込みに置き換え、分類損失を無効化（λ = 0）することで、新しい答えの予測が可能になる。
• この手法は、埋め込み空間内での最近接近傍解析によって明らかになる答え間の意味的関係を活用する。
• 本手法はGQAおよびVQA v2で評価され、意味的正則化の寄与を分離するためのアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 答えに関する意味的知識を統合することで、VQAモデルの正確性と整合性はどのように向上するか？
• RQ2 意味的埋め込みを用いることで、学習時に見られなかった答えへの一般化は可能か？
• RQ3 答え語の間の意味的関係は、モデル性能向上にどのような役割を果たすか？
• RQ4 意味的回帰を組み込んだマルチタスク学習設定は、標準的な分類のみのベースラインと比べてどのように異なるか？
• RQ5 事前学習済み埋め込みの種別（例：GloVe対ConceptNet）が、ゼロショット答え予測にどの程度影響を及えるか？

主な発見

• GQAデータセットでは、全質問カテゴリにわたり一貫した正確性の向上が見られ、特に複雑で構成的な質問で最も高い向上が得られた。
• アブレーションスタディの結果、分類損失と回帰損失のバランス（λ = 0.5）が最良の性能を示し、両目的の補完的性質を裏付けた。
• 70%の答え候補について、答えの再検出率が向上した。特に意味的に関連する答え（例：'basket' と 'baskets'）で最も大きな向上が観察された。
• 学習・テストで答え語が不一致のVQA v2データセットでは、ゼロショット予測で27%の正確性を達成し、fPMCベースライン（15%）を上回った。
• 再検出率が低下した答えは、GloVe空間内での意味的に無関係な最近接近傍を持つことが多く、埋め込みの質と意味的整合性の重要性を示唆した。
• VQAモデルがエンドツーエンドで学習する視覚的共起パターンから、視覚的知識と言語的知識を組み合わせることで、語彙外性能のさらなる向上が可能であると考えられる。