[論文レビュー] Neural Self Talk: Image Understanding via Continuous Questioning and Answering

Yezhou Yang, Yi Li+2 more|arXiv (Cornell University)|Dec 10, 2015

Multimodal Machine Learning Applications参考文献 32被引用数 17

ひとこと要約

本論文では、深層学習を用いて繰り返し質問を生成・回答することで、連続的画像理解を実現するフレームワーク「Neural Self Talk」を提案する。RNNとCNNを用いた視覚的質問生成（VQG）と視覚的質問応答（VQA）モジュールを共同で学習させることで、評価において人間の質問に類似した読みやすさと関連性を達成し、自己生成対話による自律的視覚推論の可能性を示した。

ABSTRACT

In this paper we consider the problem of continuously discovering image contents by actively asking image based questions and subsequently answering the questions being asked. The key components include a Visual Question Generation (VQG) module and a Visual Question Answering module, in which Recurrent Neural Networks (RNN) and Convolutional Neural Network (CNN) are used. Given a dataset that contains images, questions and their answers, both modules are trained at the same time, with the difference being VQG uses the images as input and the corresponding questions as output, while VQA uses images and questions as input and the corresponding answers as output. We evaluate the self talk process subjectively using Amazon Mechanical Turk, which show effectiveness of the proposed method.

研究の動機と目的

• 自己生成された質問と回答の連続ループを通じて、自律的画像理解を実現すること。
• 人為的な質問が提供されない状況下で、制約のないオープンエンドの質問生成に挑むこと。
• エンド・トゥ・エンドで学習可能なニューラルネットワークを用いて、視覚的認識と言語的推論の間の意味的ループを閉じること。
• 人間中心の評価手法を用いて、自己対話の相互作用の質と一貫性を評価すること。
• 静的画像分類をはるかに超える人工知能の発展に向けた自己対話というメカニズムの可能性を探索すること。

提案手法

• RNNに基づくシーケンスモデルを用いて、画像から自然言語の質問を生成する視覚的質問生成（VQG）モジュールを学習する。
• デュアルストリームのCNN-RNNアーキテクチャを用いて、画像-質問ペアから答えを生成する視覚的質問応答（VQA）モジュールを学習する。
• 両モジュールは共通の画像表現を用いて共同で学習され、VQGは同じ視覚的入力から質問を予測し、VQAはその入力から答えを予測する。
• システムはループで推論を行う：画像から質問が生成され、その後に答えが得られ、このプロセスが繰り返し行われる。
• 質問の品質は、標準的なNLP指標（BLEU、METEOR、CIDEr、ROUGE）とAmazon Mechanical Turkを用いた人間評価により評価される。
• 人間評価では、生成された質問-回答ペアの読みやすさ、正しさ、人間らしさの程度が評価される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、人為的な質問が提供されない状況下でも、単一の画像から意味的で多様な質問を自律的に生成できるか？
• RQ2 モデルは、画像の内容と意味的に整合性があり関連性の高い質問-回答ペアを生成できるか？
• RQ3 読みやすさと認識された知的さの観点から、自己生成視覚対話の質と流れはどれほど人間らしいか？
• RQ4 モデルの推論は、視覚的コンテンツにどれほど依存しているのか、あるいは学習済みの一般的な常識バイアスにどれほど依存しているのか？
• RQ5 自己対話プロセスは、論理的な進行を示し、矛盾を減らす認知的対話に模倣できるか？

主な発見

• VQGモデルは、最も確率の高い質問を使用した場合、DAQUARでCIDErスコア0.493、COCO-VQAで0.388を達成し、最先端の画像キャプション生成性能に近づいた。
• Amazon Mechanical Turkにおける人間評価では、平均読みやすさスコアがDAQUARで3.35、COCO-VQAで3.39であり、生成された質問がほぼ人間の水準の読みやすさを示した。
• 平均正しさスコアはDAQUARで2.50、COCO-VQAで2.70であり、生成された答えが画像の内容と意味的に関連しているが、完璧ではないことが示された。
• 人間評価者は、自己対話システムを「やや人間らしい」と評価したが、「半分人間、半分機械」よりも低い評価であり、現実的で魅力的で、不快な「不気味の谷」効果を避けていた。
• ユーザーはロボットをしばしば面白がりや愛らしいと評したが、不快感を示したユーザーは少数にとどまり、システムが「不気味の谷」効果を回避していることが示された。
• フィードバックから、生成された対話に自己矛盾の事例が見られたため、今後の研究では物語の構成モデリングや論理的一致性の向上が不可欠であることが明らかになった。