[論文レビュー] CLEVR-Dialog: A Diagnostic Dataset for Multi-Round Reasoning in Visual Dialog

Satwik Kottur, José M. F. Moura+3 more|arXiv (Cornell University)|Mar 7, 2019

Multimodal Machine Learning Applications参考文献 19被引用数 50

ひとこと要約

この論文は CLEVR-Dialog を導入します。視覚的に根拠のある対話における多回合推論を研究するための大規模な合成診断データセットで、完全に注釈されたシーングラフを持ち、視覚的対話におけるコアリファレンス解決をベンチマークします。

ABSTRACT

Visual Dialog is a multimodal task of answering a sequence of questions grounded in an image, using the conversation history as context. It entails challenges in vision, language, reasoning, and grounding. However, studying these subtasks in isolation on large, real datasets is infeasible as it requires prohibitively-expensive complete annotation of the 'state' of all images and dialogs. We develop CLEVR-Dialog, a large diagnostic dataset for studying multi-round reasoning in visual dialog. Specifically, we construct a dialog grammar that is grounded in the scene graphs of the images from the CLEVR dataset. This combination results in a dataset where all aspects of the visual dialog are fully annotated. In total, CLEVR-Dialog contains 5 instances of 10-round dialogs for about 85k CLEVR images, totaling to 4.25M question-answer pairs. We use CLEVR-Dialog to benchmark performance of standard visual dialog models; in particular, on visual coreference resolution (as a function of the coreference distance). This is the first analysis of its kind for visual dialog models that was not possible without this dataset. We hope the findings from CLEVR-Dialog will help inform the development of future models for visual dialog. Our dataset and code are publicly available.

研究の動機と目的

• 視覚対話における視覚・言語・グラウンディング・メモリといった視覚言語推論のサブ問題を孤立して研究する動機づけ。
• CLEVRのシーングラフに対話文法を基づけて、網羅的に注釈された大規模な診断データセットを提供する。
• 対話の履歴とコアリファレンス距離がモデル性能に与える影響を分析できるようにする。
• ベースラインの視覚対話モデルをベンチマークし、視覚コアリファレンス解決能力を診断する。

提案手法

• CLEVRのシーングラフに基づく対話文法を構築して、完全に注釈された視覚対話を生成する。
• プリミティブ（Sample、Unique、Count、Group、Filter、Exist、Relate）を用いてキャプションおよび質問テンプレを構築する。
• 規則ベースの文法とビームサーチを用いて、多様で重複のない対話を生成する。
• 各CLEVR画像を完全なシーングラフで注釈し、履歴依存の対話状態を追跡する。
• CLEVR-Dialog上でCorefNMNを含むニューラルモデルをベンチマークし、コアリファレンス距離と履歴依存性の関数としての性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 視覚対話における視覚コアリファレンス解決の性能は、コアリファレンス距離が増大するとどのように劣化するか？
• RQ2 異なる視覚対話モデルは、履歴をどのように活用して画像に結びついた質問に回答するか？
• RQ3 履歴依存の質問がモデル全体の正確さに与える影響はどの程度か？
• RQ4 視覚対話におけるコアリファレンスと履歴ベースの推論を最も適切に処理できるモデルアーキテクチャはどれか？

主な発見

• CLEVR-Dialogは、現実世界データセットでは実現できない規模の視覚的コアリファレンスと履歴依存性の大規模分析を実現する。
• CorefNMNはCLEVR-Dialogで68.0%の精度を達成し、いくつかのベースラインを上回り、明示的なコアファレンスモデリングの価値を示している。
• 履歴依存の質問（特に長距離のコアリファレンスを要するもの）は、対話レベルの要約を活用して、いくつかのモデル（例：HRE-QIH）がコアリファレンス重視のアーキテクチャを上回る全質問であることを示す。
• CLEVR-Dialogは平均コアリファレンス距離が3.2ラウンドで、距離範囲が広い（1〜10）ことを示しており、MNIST-Dialogよりも難しい多回合推論を示す。
• データセット統計は、5つのインスタンス対話で各画像10ラウンド、合計85kのCLEVR画像、訓練QA対が3.5M、検証QA対が0.75Mであることを示す。
• さまざまな質問タイプ（count、exist、seek）と豊富な履歴依存性の分布は、 prior synthetic datasetsよりも高い言語的多様性と推論要求を示している。