[논문 리뷰] Are you talking to a machine? Dataset and methods for multilingual image question answering

Haoyuan Gao, Junhua Mao외 4명|arXiv (Cornell University)|2015. 12. 07.

Multimodal Machine Learning Applications참고 문헌 39인용 수 68

한 줄 요약

이 논문은 다국어 이미지 질의응답을 위한 mQA 모델을 소개한다. 이 모델은 질문과 이미지를 처리하기 위해 LSTM과 CNN 아키텍처를 조합하고, 이를 융합하여 답변을 생성한다. 310,000개의 다국어 QA 쌍을 포함한 FM-IQA 데이터셋에서 평가한 결과, 투링 테스트에서 인간과 구별되지 않는 성능을 64.7% 확보하였으며, 평균 답변 품질 점수는 2점 만점에 1.454점을 기록하였다.

ABSTRACT

In this paper, we present the mQA model, which is able to answer questions about the content of an image. The answer can be a sentence, a phrase or a single word. Our model contains four components: a Long Short-Term Memory (LSTM) to extract the question representation, a Convolutional Neural Network (CNN) to extract the visual representation, an LSTM for storing the linguistic context in an answer, and a fusing component to combine the information from the first three components and generate the answer. We construct a Freestyle Multilingual Image Question Answering (FM-IQA) dataset to train and evaluate our mQA model. It contains over 150,000 images and 310,000 freestyle Chinese question-answer pairs and their English translations. The quality of the generated answers of our mQA model on this dataset is evaluated by human judges through a Turing Test. Specifically, we mix the answers provided by humans and our model. The human judges need to distinguish our model from the human. They will also provide a score (i.e. 0, 1, 2, the larger the better) indicating the quality of the answer. We propose strategies to monitor the quality of this evaluation process. The experiments show that in 64.7% of cases, the human judges cannot distinguish our model from humans. The average score is 1.454 (1.918 for human). The details of this work, including the FM-IQA dataset, can be found on the project page: http://idl.baidu.com/FM-IQA.html.

연구 동기 및 목표

• 문장, 어휘, 어절 수준의 답변을 생성할 수 있는 다국어 이미지 질의응답 모델을 개발하는 것.
• 훈련 및 평가를 위한 고품질, 대규모 다국어 데이터셋을 구축하는 것.
• 모델 성능을 평가하기 위해 인간이 작성한 투링 테스트를 활용하여 생성된 답변의 인간 유사도를 평가하는 것.
• 인간 평가 품질을 모니터링하는 전략을 통해 평가의 신뢰성을 확보하는 것.
• 중국어 및 영어 질문-답변 쌍을 포함하여 다국어 간 이해를 가능하게 하는 것.

제안 방법

• 입력 질문의 언어적 표현을 인코딩하기 위해 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 입력 이미지에서 시각적 특징을 추출하기 위해 합성곱 신경망(CNN)을 활용한다.
• 답변 생성 중 언어적 맥락을 모델링하기 위해 두 번째 LSTM을 사용하여 순차적 일관성을 유지한다.
• 질문, 이미지, 답변 맥락 표현을 융합 구성 요소를 통해 통합하여 최종 답변을 생성한다.
• 150,000개의 이미지와 310,000개의 다국어 QA 쌍을 포함한 프리스타일 다국어 이미지 질의응답(FM-IQA) 데이터셋에서 모델을 훈련하고 평가한다.
• 모델이 생성한 답변과 인간이 생성한 답변을 구별할 수 있는 인간 평가 기반의 투링 테스트를 시행한다.

실험 결과

연구 질문

• RQ1 다중모odal 딥러닝 모델이 인간의 응답과 구별되지 않는 답변을 생성할 수 있는가?
• RQ2 mQA 모델은 중국어 및 영어 다국어 이미지 질의응답에서 얼마나 잘 성능을 내는가?
• RQ3 통제된 투링 테스트에서 인간 평가자가 모델이 생성한 답변과 인간이 생성한 답변을 얼마나 신뢰성 있게 구별할 수 있는가?
• RQ4 인간 평가 점수를 활용하여 모델이 생성한 답변의 품질이 인간 답변과 비교해 어떻게 되는가?
• RQ5 다국어 이미지 질의응답 벤치마크에서 신뢰성 있고 일관된 인간 평가를 보장하기 위한 전략은 무엇인가?

주요 결과

• mQA 모델은 투링 테스트에서 64.7%의 인간과 구별되지 않는 비율을 확보하여 답변 생성의 강력한 인간 유사성을 입증하였다.
• mQA 모델의 평균 답변 품질 점수는 2점 만점에 1.454점이었으며, 인간이 생성한 답변의 평균 점수 1.918점과 비교되었다.
• FM-IQA 데이터셋은 150,000개 이상의 이미지와 중국어 및 영어로 구성된 310,000개의 자유형 질문-답변 쌍을 포함하고 있다.
• 모델 성능은 인간 평가의 신뢰성을 확보하기 위한 모니터링 전략을 포함한 철저한 인간 평가 과정을 통해 검증되었다.
• 결과적으로 mQA 모델는 여러 언어에서 맥락에 부합하는 고품질의 답변을 생성할 수 있음을 입증하였다.
• http://idl.baidu.com/FM-IQA.html의 프로젝트 페이지에서 데이터셋과 모델 세부 정보에 접근할 수 있다.