[論文レビュー] Learning to Disambiguate by Asking Discriminative Questions

Yining Li, Chen Huang+2 more|arXiv (Cornell University)|Aug 9, 2017

Multimodal Machine Learning Applications参考文献 49被引用数 4

ひとこと要約

本稿では、視覚的に類似した2枚の画像を区別するための質問を生成する新しいタスクである視覚的判別質問生成（VDQG）を紹介する。本研究では、スコア関数を用いて特定された判別的属性に条件づけられたLSTMベースのモデルを提案し、VQAデータセットを弱教師付きで活用して学習させることで、10,000組以上の画像ペアと100,000件以上の質問を含む新しい大規模VDQGデータセットで優れた性能を達成した。

ABSTRACT

The ability to ask questions is a powerful tool to gather information in order to learn about the world and resolve ambiguities. In this paper, we explore a novel problem of generating discriminative questions to help disambiguate visual instances. Our work can be seen as a complement and new extension to the rich research studies on image captioning and question answering. We introduce the first large-scale dataset with over 10,000 carefully annotated images-question tuples to facilitate benchmarking. In particular, each tuple consists of a pair of images and 4.6 discriminative questions (as positive samples) and 5.9 non-discriminative questions (as negative samples) on average. In addition, we present an effective method for visual discriminative question generation. The method can be trained in a weakly supervised manner without discriminative images-question tuples but just existing visual question answering datasets. Promising results are shown against representative baselines through quantitative evaluations and user studies.

研究の動機と目的

• 2枚の画像インスタンス間の視覚的曖昧性を解消する質問を生成するための形式化されたタスクの欠如に対処すること。
• 既存のVQAデータセットからの弱教師付き学習を活用することで、判別的質問生成のためのデータ不足問題を克服すること。
• 画像ペア間の最も顕著な視覚的属性を特定することで、自然で対象物に焦点を当てた判別的質問を生成する手法を開発すること。
• 人間がアノテートした10,000組以上の画像-質問タプル（肯定的・否定的質問サンプルを含む）を用いた大規模データセットを構築し、VDQGのベンチマークを確立すること。

提案手法

• 深層畳み込みニューラルネットワークからの視覚的特徴に条件づけられたLSTMベースのシーケンス生成器を用い、自然言語の質問を生成する。
• ノイズの多い属性予測から、2つの画像インスタンス間で最も判別的であるとされる属性を特定するための判別スコア関数を適用する。
• 画像ペairに対する明示的な質問アノテーションが不要な状態で、Visual Genomeデータセットから質問-回答ペアを抽出することで、弱教師付き学習でモデルを訓練する。
• 生成空間を制約し、関連性と判別力の向上を図るために、スコアが最も高い判別的属性にLSTMを条件づける。
• より良い性能を得るために、リtrievalベースの監督信号と人間がアノテートした質問データの組み合わせを用いて、モデルをエンドツーエンドで微調整する。
• 自動評価指標（BLEU、METEOR）と人間評価を併用した新しい評価プロトコルを導入し、質問の質と判別効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルは、2枚の視覚的に曖昧な画像を効果的に区別できる自然で判別的な質問を生成できるか？
• RQ2 明示的な画像ペア-質問アノテーションを含む大規模なペアデータセットがなくても、判別的質問生成をどのように学習できるか？
• RQ3 どの視覚的属性が、対象物間の曖昧性を解消する質問を生成する能力を高めるために最も効果的か？
• RQ4 人間の曖昧性解消タスクにおいて、判別的質問生成と参照表現生成の性能はどのように比較されるか？
• RQ5 VQAデータからの弱教師付き事前学習信号は、生成された判別的質問の質をどの程度向上させるか？

主な発見

• 提案されたACQGフルモデルは、VDQGのハードサブセットでBLEUスコア40.6、METEORスコア39.7を達成し、CNN-LSTMやリtrievalベースの手法といった強力なベースラインを上回った。
• 人間がアノテートした質問（Human top）は、ランダムな人間のアノテーション（Human random）を常に上回り、VDQGデータセットの質と判別的意図の妥当性を裏付けた。
• ユーザースタディーにおいて、ACQGフルモデルはCNN-LSTMおよびリtrievalベースラインを著しく上回り、特にハードサンプルにおいて顕著な優位性を示した。
• VQAデータからの弱教師付き学習によって訓練されたモデルは、完全なペア画像監督なしでも競争力のある性能を示し、VDQGを完全なペア画像監督なしで学習可能であることを示した。
• 条件付き属性を備えた判別的質問は、人間の曖昧性解消タスクで平均69.51%のリtrieval正答率を達成し、参照表現（65.14%）を上回った。これは、両者の強みが相補的であることを示している。
• 結果から、判別的質問と参照表現は異なる状況で失敗する傾向にあり、両者を併用することで視覚的曖昧性解消の性能を向上させられると示唆された。