[論文レビュー] Robustness Analysis of Visual QA Models by Basic Questions

Jia-Hong Huang, Dao, Cuong Duc+3 more|arXiv (Cornell University)|Sep 14, 2017

Multimodal Machine Learning Applications参考文献 41被引用数 15

ひとこと要約

本稿では、意味的に類似した「基本質問」を制御されたノイズとして用いることで、視覚的質疑応答（VQA）モデルの耐性を評価する新しいフレームワークを提案する。LASSOに基づく類似度手法を用いて基本質問を順位付けし、主質問に連結することで、ノイズレベルを変化させ、新たな耐性スコア（$R_{\text{score}}$）を導入した。2つの新規に作成された大規模データセットを用いた実験により、アテンションを用いたVQAモデルが非アテンションモデルよりも耐性が高いことが示された。

ABSTRACT

Visual Question Answering (VQA) models should have both high robustness and accuracy. Unfortunately, most of the current VQA research only focuses on accuracy because there is a lack of proper methods to measure the robustness of VQA models. There are two main modules in our algorithm. Given a natural language question about an image, the first module takes the question as input and then outputs the ranked basic questions, with similarity scores, of the main given question. The second module takes the main question, image and these basic questions as input and then outputs the text-based answer of the main question about the given image. We claim that a robust VQA model is one, whose performance is not changed much when related basic questions as also made available to it as input. We formulate the basic questions generation problem as a LASSO optimization, and also propose a large scale Basic Question Dataset (BQD) and Rscore (novel robustness measure), for analyzing the robustness of VQA models. We hope our BQD will be used as a benchmark for to evaluate the robustness of VQA models, so as to help the community build more robust and accurate VQA models.

研究の動機と目的

• VQAモデルにおける標準化された耐性評価の欠如、特に意味的摂動下での評価の不足に取り組む。
• 質問間の意味的類似度を用いて、VQA入力におけるノイズレベルを定量化する手法を開発する。
• 主質問に基本質問を組み込むことで、モデルの精度を比較する新しい耐性指標$R_{\text{score}}$を提案する。
• 一貫した耐性ベンチマークのための標準化された大規模データセット2つ（一般基本質問データセット（GBQD）およびYes/No基本質問データセット（YNBQD））を構築する。
• 6つの最先端VQAモデルの耐性を、制御された意味的ノイズ下で評価・比較する。

提案手法

• フレームワークは、さまざまな類似度指標を用いて主質問との意味的類似度に基づいて基本質問を順位付けするノイズ生成モジュールを用いる。
• 意味的関連性をよりよく捉え、ノイズレベルを制御することを目的とした、新規のLASSOベースの最適化手法を提案する。
• 上位$n$（例：$n=3$）の順位付けされた基本質問を主質問に連結し、ノイズを含む入力質問を生成する。
• VQAモデルは元の質問とノイズを含む質問の両方で評価され、$R_{\text{score}}$はノイズ入力での精度をクリーン入力での精度で割った比として計算される。
• 複数の類似度指標（BLEU、ROUGE、CIDEr、METEOR）をサポートし、新たなデータセットや順位付け手法への拡張性を有する。
• 新しく導入されたGBQDおよびYNBQDデータセットを用いて、6つの最先端VQAモデルに対する耐性分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 意味的摂動としての基本質問を、VQAモデルの耐性評価に体系的かつ効果的に活用する方法は何か？
• RQ2 VQA耐性評価におけるノイズレベル制御に最も効果的な基本質問の順位付けに適したテキスト類似度指標は何か？
• RQ3 意味的ノイズ下で、アテンションを用いたVQAモデルの耐性は非アテンションモデルと比べてどの程度高いか？
• RQ4 提案された$R_{\text{score}}$指標は、複数の関連する質問下での人間の推論にどの程度相関しているか？
• RQ5 大規模かつ標準化された基本質問データセットは、VQA耐性研究における再現性とベンチマークの向上に寄与するか？

主な発見

• LASSOベースの順位付け手法は、7つの既存のテキスト類似度指標（BLEU-1からBLEU-4、ROUGE、CIDEr、METEOR）を上回り、耐性評価に適した効果的なノイズレベルを生成した。
• アテンションを用いたVQAモデルは、$R_{\text{score}}$で測定したところ、非アテンションモデルよりも高い耐性を示した。
• 提案された$R_{\text{score}}$指標は、クリーン入力とノイズ入力の精度を比較することで、モデルの耐性を効果的に定量化できた。
• 一般基本質問データセット（GBQD）およびYes/No基本質問データセット（YNBQD）は、一貫したVQA耐性評価のための標準化された大規模リソースを提供した。
• 意味的摂動を順位付けされた意味的に関連する質問としてモデル化することで、制御可能で解釈可能な耐性分析が可能になった。
• 実験的結果から、非常に類似した基本質問による摂動でもモデルの精度が維持されることが確認され、ノイズレベル仮説が妥当であることが裏付けられた。