[논문 리뷰] Neural Self Talk: Image Understanding via Continuous Questioning and Answering

Yezhou Yang, Yi Li외 2명|arXiv (Cornell University)|2015. 12. 10.

Multimodal Machine Learning Applications참고 문헌 32인용 수 17

한 줄 요약

이 논문은 딥러닝을 활용한 반복적인 질문 생성과 응답을 통해 연속적인 이미지 이해를 위한 프레임워크인 Neural Self Talk을 제안한다. RNN과 CNN를 사용한 시각질문 생성(VQG) 및 시각질문 응답(VQA) 모듈을 공동으로 훈련하여 평가에서 인간 수준의 질문 가독성과 관련성을 달성하였으며, 자율적인 시각적 추론을 위한 자기 생성 대화의 가능성을 입증한다.

ABSTRACT

In this paper we consider the problem of continuously discovering image contents by actively asking image based questions and subsequently answering the questions being asked. The key components include a Visual Question Generation (VQG) module and a Visual Question Answering module, in which Recurrent Neural Networks (RNN) and Convolutional Neural Network (CNN) are used. Given a dataset that contains images, questions and their answers, both modules are trained at the same time, with the difference being VQG uses the images as input and the corresponding questions as output, while VQA uses images and questions as input and the corresponding answers as output. We evaluate the self talk process subjectively using Amazon Mechanical Turk, which show effectiveness of the proposed method.

연구 동기 및 목표

• 자기 생성 질문과 응답의 연속 루프를 통해 자율적인 이미지 이해를 가능하게 하기 위해.
• 사람이 제공한 질문 없이 이미지에서 제약 없는 개방형 질문 생성에 도전하기 위해.
• 엔드 투 엔드로 훈련 가능한 신경망을 사용해 시각적 인식과 언어적 추론 사이의 의미적 루프를 닫기 위해.
• 사람 중심의 방식으로 자기 대화 상호작용의 품질과 일관성을 평가하기 위해.
• 정적 이미지 분류를 넘어서 인공지능을 발전시키는 데에 자기 대화가 갖는 잠재력을 탐색하기 위해.

제안 방법

• 시각질문 생성(VQG) 모듈은 RNN 기반의 시퀀스 모델을 사용하여 이미지에서 자연어 질문을 생성하도록 훈련된다.
• 시각질문 응답(VQA) 모듈은 이중 스트림 CNN-RNN 아키텍처를 사용하여 이미지-질문 쌍에서 응답을 생성하도록 훈련된다.
• 두 모듈은 공유된 이미지 표현을 사용하여 공동으로 훈련되며, VQG는 동일한 시각 입력에서 질문을 예측하고, VQA는 그에 해당하는 응답을 예측한다.
• 시스템은 루프에서 추론을 수행한다: 이미지에서 질문이 생성되고, 그에 대해 응답이 생성되며, 이 과정이 반복적으로 계속된다.
• 질문 품질은 표준 NLP 메트릭(BLEU, METEOR, CIDEr, ROUGE)과 아마존 메카니컬 터크를 통한 인간 평가로 평가된다.
• 인간 평가는 생성된 질문-응답 쌍의 가독성, 정확성, 인간다움을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 인간이 제공한 질문 없이 단일 이미지에서 의미 있고 다양한 질문을 자율적으로 생성할 수 있는가?
• RQ2 모델은 이미지 콘텐츠에 대해 의미적으로 일관되고 관련성이 있는 질문-응답 쌍을 생성할 수 있는가?
• RQ3 가독성과 인지된 지능 측면에서 자기 생성된 시각 대화의 품질과 흐름은 얼마나 인간과 유사한가?
• RQ4 모델의 추론이 시각적 콘텐츠에 기반하는 정도와 학습된 일반 지식 편향에 기반하는 정도는 어느 정도인가?
• RQ5 자기 대화 과정은 논리적 진행이 있고 모순이 감소된 인지적 대화를 시뮬레이션할 수 있는가?

주요 결과

• VQG 모델은 가장 높은 확률로 생성된 질문을 사용했을 때 DAQUAR에서 CIDEr 점수 0.493, COCO-VQA에서 0.388을 기록하여 최신의 이미지 캡션 성능에 근접하였다.
• 아마존 메카니컬 터크를 통한 인간 평가에서 평균 가독성 점수는 DAQUAR 기준 3.35, COCO-VQA 기준 3.39로, 생성된 질문의 가독성이 거의 인간 수준임을 시사했다.
• 평균 정확성 점수는 DAQUAR 기준 2.50, COCO-VQA 기준 2.70로, 생성된 응답이 이미지의 의미적으로 관련성이 있음을 나타내었지만 완벽하지는 않았다.
• 인간 평가자들은 자기 대화 시스템을 '조금은 인간다운가'보다는 '반은 인간, 반은 기계'보다 덜 인간다운 것으로 평가하여, 현실적이며 매력적이고, '비정상한 골목' 효과를 피하는 상호작용임을 시사했다.
• 사용자들은 로봇을 유쾌하거나 매력적으로 묘사하는 경우가 빈번했으며, 불편함을 느낀 경우는 소수에 불과하여, 시스템이 '비정상한 골목' 효과를 피하고 있음을 나타냈다.
• 피드백을 통해 생성된 대화에서 자기 모순의 사례가 드러났으며, 이는 향후 스토리라인 모델링과 논리적 일관성 향상에 대한 연구가 필요함을 시사했다.