[論文レビュー] Are you talking to a machine? Dataset and methods for multilingual image question answering

Haoyuan Gao, Junhua Mao+4 more|arXiv (Cornell University)|Dec 7, 2015

Multimodal Machine Learning Applications参考文献 39被引用数 68

ひとこと要約

本論文では、質問と画像を処理するためのLSTMおよびCNNアーキテクチャを統合し、それらを統合して答えを生成する多言語画像質問応答用のmQAモデルを紹介する。FM-IQAデータセット（310,000の多言語QAペアを含む）で評価された結果、チューリングテストにおいて64.7％の割合で人間と区別できない性能を達成し、平均回答品質スコアは2点中1.454であった。

ABSTRACT

In this paper, we present the mQA model, which is able to answer questions about the content of an image. The answer can be a sentence, a phrase or a single word. Our model contains four components: a Long Short-Term Memory (LSTM) to extract the question representation, a Convolutional Neural Network (CNN) to extract the visual representation, an LSTM for storing the linguistic context in an answer, and a fusing component to combine the information from the first three components and generate the answer. We construct a Freestyle Multilingual Image Question Answering (FM-IQA) dataset to train and evaluate our mQA model. It contains over 150,000 images and 310,000 freestyle Chinese question-answer pairs and their English translations. The quality of the generated answers of our mQA model on this dataset is evaluated by human judges through a Turing Test. Specifically, we mix the answers provided by humans and our model. The human judges need to distinguish our model from the human. They will also provide a score (i.e. 0, 1, 2, the larger the better) indicating the quality of the answer. We propose strategies to monitor the quality of this evaluation process. The experiments show that in 64.7% of cases, the human judges cannot distinguish our model from humans. The average score is 1.454 (1.918 for human). The details of this work, including the FM-IQA dataset, can be found on the project page: http://idl.baidu.com/FM-IQA.html.

研究の動機と目的

• 文、語句、または語彙レベルの答えを生成できる多言語画像質問応答モデルの開発。
• 訓練および評価用に高品質で大規模な多言語データセットの構築。
• 人間が生成した回答と同様に感じ取れるかどうかを評価する人間アノテート付きチューリングテストを用いたモデル性能の評価。
• 人間の判断の質を監視する戦略を用いて、信頼性の高い評価を確保。
• 中国語と英語の質問・回答ペアを含めることで、多言語間理解を可能にする。

提案手法

• 入力された質問の言語的表現をエンコードするために、長短期記憶（LSTM）ネットワークを活用。
• 入力画像からの視覚的特徴を抽出するために、畳み込みニューラルネットワーク（CNN）を採用。
• 答え生成中に言語的文脈をモデル化するために、2番目のLSTMを使用し、文の連続性を維持。
• 質問、画像、答えの文脈表現を統合コンポーネントで統合し、最終的な答えを生成。
• 150,000枚の画像と310,000の多言語QAペアを含む、自由形式多言語画像質問応答（FM-IQA）データセット上でモデルを訓練および評価。
• モデル生成と人間生成の回答を区別できるかどうかを評価する人間アノテート付きチューリングテストを実施。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルディープラーニングモデルは、人間の回答と区別がつかない画像質問への回答を生成できるか？
• RQ2 mQAモデルは中国語と英語の両言語において、多言語画像質問応答でどの程度の性能を示すか？
• RQ3 制御されたチューリングテストにおいて、人間のジャッジはモデル生成と人間生成の回答をどの程度信頼性を持って区別できるか？
• RQ4 人間アノテートスコアを用いて、モデル生成回答と人間生成回答の品質を比較するとどうなるか？
• RQ5 多言語画像QAベンチマーク評価において、信頼性と一貫性を確保するための戦略は何か？

主な発見

• mQAモデルはチューリングテストにおいて64.7％の人が区別できない率を達成し、回答生成における人間らしさが強く示された。
• mQAモデルの平均回答品質スコアは2点中1.454であり、人間生成回答の1.918点と比較してやや低いが、高い水準を維持している。
• FM-IQAデータセットには150,000枚以上の画像と、中国語および英語の両方で自由形式の質問・回答ペアが310,000組以上含まれている。
• 信頼性を確保するための監視戦略を用いた厳密な人間評価プロセスを通じて、モデルの性能が検証された。
• 結果から、mQAモデルは複数の言語で文脈的に関連性のある高品質な回答を生成できることを示している。
• プロジェクトページ http://idl.baidu.com/FM-IQA.html では、データセットおよびモデルの詳細にアクセス可能。