[論文レビュー] Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention

Shalini Ghosh, Giedrius Burachas+2 more|arXiv (Cornell University)|Feb 15, 2019

Multimodal Machine Learning Applications被引用数 34

ひとこと要約

この論文は、シーングラフと視覚的注意を活用し、追加のラベル付き説明データなしでVQAの自然言語 explanationsを生成するマルチモーダル手法を提案し、Visual Genomeデータと人間の判断によって検証する。

ABSTRACT

In this paper, we present a novel approach for the task of eXplainable Question Answering (XQA), i.e., generating natural language (NL) explanations for the Visual Question Answering (VQA) problem. We generate NL explanations comprising of the evidence to support the answer to a question asked to an image using two sources of information: (a) annotations of entities in an image (e.g., object labels, region descriptions, relation phrases) generated from the scene graph of the image, and (b) the attention map generated by a VQA model when answering the question. We show how combining the visual attention map with the NL representation of relevant scene graph entities, carefully selected using a language model, can give reasonable textual explanations without the need of any additional collected data (explanation captions, etc). We run our algorithms on the Visual Genome (VG) dataset and conduct internal user-studies to demonstrate the efficacy of our approach over a strong baseline. We have also released a live web demo showcasing our VQA and textual explanation generation using scene graphs and visual attention.

研究の動機と目的

• ExplainableなQuestion Answeringを動機づけるために、VQA出力の textual justificationを生成する。
• シーングラフベースのNL表現とVQAのアテンションマップを組み合わせて、説明の根拠を特定する。
• 既存のシーングラフ注釈とアテンションガイド選択を用いることで、追加の annotatedな説明データを回避する。
• 定性的および小規模なユーザ調査を通じて、提案手法が合理的な説明を生み出すことを実証する。

提案手法

• ResNet-152からの画像特徴とGloVe埋め込みLSTMからの質問特徴を用いたVQAモデルを使用する。
• VQA中に画像領域に対するアテンションヒートマップを生成し、関連するシーン要素を特定する。
• シーングラフのエンティティ（物体、関係、領域説明）からNL表現を抽出し、関連性をスコア付けする。
• アテンション整合、QAへの言語モデルの関連性、説明の長さ/領域の項を組み合わせた複合スコアでシーングラフエンティティをランク付けする。
• 上位ランクの説明からスロットフィラー形式の説明を生成するか、領域説明が利用できない場合には記述的なグラフ成分を用いて説明を生成する。
• 領域ベースの説明とNLのみのベースラインを比較し、小規模な人間評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 シーングラフと視覚的注意に基づくNLの説明は、VQAの回答に対して有用な正当化を提供できるか？
• RQ2 注意ガイド付きのシーングラフの根拠を組み込むことで、NLのみのアプローチと比較して説明の質は向上するか？
• RQ3 VGの異なるシーングラフにおいて、領域説明ベースと物体/関係ベースの説明はどれほど効果的か？
• RQ4 視覚的信号と言語信号を組み合わせることで、ユーザーが感じる説明の関連性にどのような影響があるか？

主な発見

• マルチモーダルの説明は、小規模な内部調査の人間評価指標でNLのみのベースラインを上回る。
• 注意ガイド付きのシーングラフ証拠を用いると、トップランクのQAペアに対してより関連性の高い説明が得られる。
• トップの説明セットには、"tennis player hitting a ball" や "woman hitting a tennis ball" のような領域説明が含まれ、回答に結びつく具体的な証拠を示す。
• 論文は、マルチモーダル説明がNLのみのベースラインと比較して、メトリクスに応じて52-55%の良好な結果を報告している。
• 人間の評価者を用いたA/Bテストでは、マルチモーダルアプローチが言語モデルのみの説明よりVQAの意思決定プロセスとより整合していることが示された。