[논문 리뷰] Beyond task success: A closer look at jointly learning to see, ask, and GuessWhat

Ravi Shekhar, Aashish Venkatesh외 5명|arXiv (Cornell University)|2018. 09. 10.

Topic Modeling참고 문헌 25인용 수 11

한 줄 요약

이 논문은 GuessWhat?! 게임에서 질문을 하며 객체를 추측하는 것을 동시에 학습하는 통합된, 시각적으로 기반을 둔 대화 상태 인코더를 제안한다. 이는 기존의 베이스라인 모델 대비 최대 9%의 작업 정확도 향상을 이룬다. 협동 학습 제도를 통해 모델은 강화 학습 기반 모델들과 유사한 작업 성공률을 유지하면서도 더 다양하고 인간다운 대화를 생성함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a grounded dialogue state encoder which addresses a foundational issue on how to integrate visual grounding with dialogue system components. As a test-bed, we focus on the GuessWhat?! game, a two-player game where the goal is to identify an object in a complex visual scene by asking a sequence of yes/no questions. Our visually-grounded encoder leverages synergies between guessing and asking questions, as it is trained jointly using multi-task learning. We further enrich our model via a cooperative learning regime. We show that the introduction of both the joint architecture and cooperative learning lead to accuracy improvements over the baseline system. We compare our approach to an alternative system which extends the baseline with reinforcement learning. Our in-depth analysis shows that the linguistic skills of the two models differ dramatically, despite approaching comparable performance levels. This points at the importance of analyzing the linguistic output of competing systems beyond numeric comparison solely based on task success.

연구 동기 및 목표

• 종합적인 작업 지향 에이전트에서 시각적 기반과 대화 시스템 구성 요소를 통합하는 데 초점을 맞춘 기본적인 과제를 해결한다.
• 이전 모델들이 질문 생성과 객체 추측을 별도로 훈련함으로써 최적화되지 않은 조율을 초래하는 한계를 극복한다.
• 작업 성공률 초월하여 언어적 출력을 분석함으로써 대화 품질을 향상시키며, 특히 다양성과 반복 패턴에 중점을 둔다.
• 강화 학습의 비가역적이고 비효율적인 대안으로서, 미분 가능하고 효율적인 협동 학습 제도를 제안한다.
• 협동 학습과 강화 학습으로 훈련된 모델를 상세히 비교 분석함으로써, 유사한 작업 성능에도 불구하고 다른 언어적 행동 양태를 드러낸다.

제안 방법

• 질문 생성과 객체 추측을 위한 시각적 및 언어적 맥락을 함께 인코딩할 수 있는 단일 시각적으로 기반을 둔 대화 상태 인코더를 설계한다.
• 질문 생성과 추측에 대해 각각의 지도 신호를 사용하여 다중 작업 학습을 통해 종단 간 훈련을 수행함으로써 공유 표현 학습을 가능하게 한다.
• 모델이 자기 일관성 있는 대화를 생성하는 두 단계의 협동 학습(CL) 제도를 도입하여, 반복적 개선을 통해 구성 요소 간의 조율을 향상시킨다.
• 모듈로-n 피니튜닝 적용: 매 5번째 훈련 에포크마다 질문 생성기가 인간이 애너테이션한 대화 데이터로 재훈련되어 인간 분포에서의 언어적 드리프트를 방지한다.
• 동일한 아키텍처와 훈련 설정을 사용하되, 학습 제도만 다를 뿐인 Strub 등(2017)의 강화 학습(RL) 기반 베이스라인과 CL 모델을 비교한다.
• 대화 품질 평가를 위해 어휘 다양성, 질문 유형 다양성, 반복 빈도 등의 언어적 분석 지표를 사용하여 작업 성공률 초월 평가를 수행한다.

실험 결과

연구 질문

• RQ1 공유된 시각-대화 인코더를 통한 질문 생성과 객체 추측의 공동 학습이 GuessWhat?! 게임에서의 작업 성공률에 어떤 영향을 미치는가?
• RQ2 협동 학습은 지도 학습과 강화 학습 대비 얼마나 모델 성능과 대화 품질을 향상시키는가?
• RQ3 협동 학습과 강화 학습으로 훈련된 모델 간 언어적 행동—예를 들어 어휘 다양성, 질문 유형 변화, 반복 패턴—에는 어떤 차이가 있는가?
• RQ4 유사한 작업 성공률을 달성하더라도, 협동 학습 제도는 강화 학습보다 더 인간다운 대화 패턴을 생성할 수 있는가?
• RQ5 협동 학습 중 자가 생성 대화에서 인간다운 언어적 드리프트를 방지하기 위해 주기적인 피니튜닝이 어떤 영향을 미치는가?

주요 결과

• 제안된 공동 아키텍처는 기존 베이스라인 대비 최대 9%의 작업 성공률 향상을 보이며, 공유된 시각-대화 상태 표현의 이점을 입증한다.
• 협동 학습(CL) 제도는 지도 학습 기반 베이스라인 대비 추가로 8.7%의 정확도 향상을 기록하며, 전체 성능에서 강화 학습 기반 베이스라인을 능가한다.
• 유사한 작업 성공률에도 불구하고, CL 모델은 RL 모델보다 유의미하게 더 다양한 언어적 표현을 생성하며, 어휘 다양성과 질문 유형 다양성이 모두 높다.
• RL 모델은 '예'라는 응답 후 99.46%의 경우에 위치 질문으로 전환하는 강한 경향을 보이며, CL 모델은 더 자연스럽게 다른 특성으로 전환한다.
• CL 모델은 RL 모델보다 질문 반복을 더 효과적으로 줄이며, 같은 위치 질문을 반복하여 자연스럽지 않은 대화를 유도하는 현상을 방지한다.
• 매 5 에포크마다 주기적으로 피니튜닝을 적용함으로써 CL 모델의 언어적 드리프트가 효과적으로 완화되어 질문 유형 분포가 인간다운 패턴에 더 가까워진다.