[논문 리뷰] Answerer in Questioner's Mind: Information Theoretic Approach to Goal-Oriented Visual Dialog

Sangwoo Lee, Yu‐Jung Heo외 1명|arXiv (Cornell University)|2018. 02. 12.

Multimodal Machine Learning Applications인용 수 27

한 줄 요약

이 논문은 목표 지향적 시각 대화를 위한 정보 이론적 프레임워크인 Questioner의 마음속의 Answerer(AQM)를 제안한다. AQM은 정보 수확을 극대화하기 위해 답변자의 의도를 확률적으로 모델링하여 질문 선택을 최적화한다. AQM은 딥 러닝 및 강화 학습 기반의 베이스라인을 능가하며, GuessWhat?! 작업에서 10턴 동안 78.72%의 정확도를 기록했다. 이는 대상 객체에 대한 불확실성을 최적으로 감소시키는 질문을 선택한 결과이다.

ABSTRACT

Goal-oriented dialog has been given attention due to its numerous applications in artificial intelligence. Goal-oriented dialogue tasks occur when a questioner asks an action-oriented question and an answerer responds with the intent of letting the questioner know a correct action to take. To ask the adequate question, deep learning and reinforcement learning have been recently applied. However, these approaches struggle to find a competent recurrent neural questioner, owing to the complexity of learning a series of sentences. Motivated by theory of mind, we propose "Answerer in Questioner's Mind" (AQM), a novel information theoretic algorithm for goal-oriented dialog. With AQM, a questioner asks and infers based on an approximated probabilistic model of the answerer. The questioner figures out the answerer's intention via selecting a plausible question by explicitly calculating the information gain of the candidate intentions and possible answers to each question. We test our framework on two goal-oriented visual dialog tasks: "MNIST Counting Dialog" and "GuessWhat?!". In our experiments, AQM outperforms comparative algorithms by a large margin.

연구 동기 및 목표

• 딥 러닝 및 강화 학습 기반의 목표 지향적 대화 시스템에서의 비효율성과 중복 문제를 해결하기 위해.
• 심리 이론(mental model)을 활용해 답변자의 가능한 반응을 모델링함으로써 시각 대화에서 질문 선택을 향상시키기 위해.
• 정보 이론적 질문 계획을 통해 대화 효율성을 높이는 일반적이고 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 대화 에이전트에 인간과 유사한 의도를 모델링함으로써 인간 상호작용으로의 보다 우수한 일반화를 가능하게 하기 위해.
• 목표 지향적 대화에서 기존 딥 러닝 방법을 분석하고 향상시키기 위한 이론적이고 실용적인 도구를 제공하기 위해.

제안 방법

• AQM은 답변자의 의도와 반응 분포의 확률 모델을 사용하여 후보 질문의 정보 수확을 계산한다.
• 질문자는 각 질문이 가능한 답변의 공간을 얼마나 잘 분할하는지 평가함으로써 정보 수확을 극대화하는 질문을 선택한다.
• 이 프레임워크는 답변자의 의도에 대한 근사 후행 분포에 의존하여 대화 이력을 추적하기 위한 순환 신경망(RNN)이 필요 없도록 한다.
• AQM은 다양한 질문 샘플링 전략과 통합 가능하며, 훈련 데이터에서 추출하거나 seq2seq 모델을 통해 생성하는 방식을 포함한다.
• 정보 수확은 후행 분포와 사전 분포 간의 엔트로피 감소를 통해 계산된다.
• 사전에 훈련된 질문 생성기와 함께 사용하여 새로운 질문을 생성하는 데로 확장되었으며, 후보 선택에는 빔 서치를 적용하였다.

실험 결과

연구 질문

• RQ1 복잡한 RNN에 의존하지 않고도 목표 지향적 시각 대화에서 질문자가 효율적으로 질문을 선택할 수 있는 방법은 무엇인가?
• RQ2 정보 수확을 통한 답변자의 의도 모델링이 표준 딥 러닝 및 강화 학습 방법보다 대화 성능 향상에 기여할 수 있는가?
• RQ3 AQM의 정보 이론적 접근 방식은 샘플 효율성과 정확도 측면에서 엔드 투 엔드 학습과 비교해 어떻게 다른가?
• RQ4 AQM은 기존의 딥 러닝 모델을 어떻게 해석하거나 향상시키는 데 활용될 수 있는가?
• RQ5 AQM은 미리 보지 않은 이미지에 대해 맥락적으로 관련성이 있는 질문을 생성하는 데로 확장될 수 있는가?

주요 결과

• AQM은 GuessWhat?! 작업에서 3턴에 63.63%의 정확도, 10턴에 78.72%의 정확도를 기록했으며, 이는 딥 슈퍼vised 러닝(5턴에 46.8%) 및 딥 강화 학습(4.1턴에 52.3%)보다 뚜렷이 뛰어나다.
• MNIST Counting Dialog 작업에서는 기존의 기준 방법들보다 뛰어난 성능을 보였으며, 이는 AQM이 시각 대화를 넘어서도 일반화 가능함을 확인한다.
• AQM-gen1Q 변형은 seq2seq 모델을 사용해 질문을 생성했으며, 2턴에 51.07%의 정확도를 기록했고, 원래의 딥 슈퍼vised 러닝 방법(46.8%)보다 略적으로 향상되었다.
• 5턴 기준으로 AQM-gen1Q는 70.74%의 정확도를 기록했으며, AQM-countQ-depA(72.89%)보다 略적으로 열등하여 질문 생성 품질의 상충 관계를 보였다.
• AQM의 답변자 의도에 대한 후행 분포는 비교 모델의 RNN 히든 상태와 상관이 있으며, 이는 주의(attention)와 믿음 추적(credence tracking) 사이에 이론적 연결 고리를 시사한다.
• AQM의 목적 함수는 딥 강화 학습의 목적 함수와 일치하며, 이는 RL 기반 학습이 암묵적으로 답변자의 분포를 근사하고 있음을 시사한다.