[논문 리뷰] CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication

Jin-Hwa Kim, Nikita Kitaev외 6명|arXiv (Cornell University)|2017. 12. 15.

Multimodal Machine Learning Applications참고 문헌 63인용 수 14

한 줄 요약

CoDraw는 자연어로 목표 시나리오를 설명하는 Teller와 가상 환경에서 이동 가능한 클립아트를 사용해 이를 재구성하는 Drawer가 협력하는 그림 그리기 작업을 제안한다. 이는 기반화된, 목표 지향적인 의사소통을 가능하게 한다. 주요 기여는 비자연어 코드북을 개발하는 것을 방지하는 crosstalk 훈련 및 평가 프로토콜을 도입한 것으로, 이는 인간 평가와 강하게 상관관계가 있는 자동 평가를 가능하게 한다.

ABSTRACT

In this work, we propose a goal-driven collaborative task that combines language, perception, and action. Specifically, we develop a Collaborative image-Drawing game between two agents, called CoDraw. Our game is grounded in a virtual world that contains movable clip art objects. The game involves two players: a Teller and a Drawer. The Teller sees an abstract scene containing multiple clip art pieces in a semantically meaningful configuration, while the Drawer tries to reconstruct the scene on an empty canvas using available clip art pieces. The two players communicate with each other using natural language. We collect the CoDraw dataset of ~10K dialogs consisting of ~138K messages exchanged between human players. We define protocols and metrics to evaluate learned agents in this testbed, highlighting the need for a novel "crosstalk" evaluation condition which pairs agents trained independently on disjoint subsets of the training data. We present models for our task and benchmark them using both fully automated evaluation and by having them play the game live with humans.

연구 동기 및 목표

• 언어, 인지, 행동을 통합한 기반화된, 목표 지향적인 의사소통을 위한 테스트베드를 개발하기 위해.
• 에이전트가 자연어를 통해 협력적으로 시각적 재구성 목표를 달성할 수 있는 방식을 연구하기 위해.
• 훈련 과정에서 비자연어적 공통 코드북을 개발하는 것을 방지하는 과제를 해결하기 위해.
• 일반화성과 자연어 사용을 보장하기 위해 crosstalk 평가 프로토콜을 설계하기 위해.
• 자동 평가 지표와 인간 평가를 모두 활용해 모델을 벤치마킹하고, 자동 평가의 신뢰성을 검증하기 위해.

제안 방법

• CoDraw 작업은 두 명의 에이전트로 구성되며, 목표 시나리오를 보는 Teller와 클립아트 객체를 사용해 비어 있는 캔버스에 이를 재구성하는 Drawer로 이루어진다.
• 통신은 자연어를 통해 이루어지며, Teller는 목표 시나리오를 설명하고, Drawer는 이를 해석하여 클립아트를 배치, 방향 조정, 크기 조절하는 동작을 수행한다.
• 약 10,000개의 대화와 약 138,000개의 메시지를 포함한 데이터셋을 인간-인간 상호작용에서 수집하였으며, 각 단계에서 시나리오 및 대화 이력 정보가 포함되어 있다.
• 클립아트 시나리오에 대한 유사도 지표를 통해 최종 및 중간 단계에서의 재구성 품질을 자동 평가할 수 있다.
• crosstalk 훈련 프로토콜을 도입하여, Teller와 Drawer가 서로 다른 데이터 서브셋에서 훈련되도록 하여 공모를 방지하고 자연어 사용을 장려한다.
• 자동 평가 지표와 실시간 인간 쌍으로 평가를 수행하였으며, 결과적으로 자동 평가와 인간 평가 간 강한 상관관계가 확인되었다.

실험 결과

연구 질문

• RQ1 에이전트는 인지, 언어, 행동을 포함한 기반화된 협력 작업에서 효과적으로 의사소통을 학습할 수 있는가?
• RQ2 훈련 과정에서 비자연어적 공통 코드북을 개발하는 것을 어떻게 방지할 수 있는가?
• RQ3 crosstalk 프로토콜 하에서의 자동 평가가 협력적 의사소통 작업에서 인간 수준의 성능을 신뢰성 있게 반영하는가?
• RQ4 CoDraw와 같은 장기적, 맥락 민감도가 높은 의사소통 작업에서의 주요 실패 유형은 무엇인가?
• RQ5 모방 학습과 강화 학습은 기반화된 대화에서 추론 및 계획 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• crosstalk 훈련 및 평가 프로토콜은 비자연어 코드북 개발을 성공적으로 방지하여, 의사소통이 자연어에 기반하여 유지됨을 보장한다.
• crosstalk 프로토콜 하에서의 자동 평가 결과는 인간 평가와 강한 상관관계를 보이며, 인간 평가의 신뢰할 수 있는 대체 지표로 사용될 수 있음을 검증한다.
• 강화 학습으로 미세조정한 scene2seq Teller 모델은 모방 학습 기반 모델과 규칙 기반 최근접 이웃 모델보다 유사도 지표에서 높은 성능(3.65 vs. 2.69 및 3.21)을 기록하였다.
• 인간 Teller의 성능은 유사도 점수 4.17을 기록하였고, 최고의 모델 쌍(scene2seq Teller + 최고의 Drawer)은 3.65를 기록하여 맥락 인식 및 장기적 계획 수립 능력의 격차를 보여주었다.
• 기본 모델의 경우, 존재하지 않는 물체를 참조하거나 중복 또는 누락된 설명을 내는 오류가 빈번히 발생하였으며, 보조 손실과 RL 미세조정를 통해 이는 감소하였다.
• Drawer 모델들은 흔히 의미적으로 일관성 없는 배치를 하였는데, 예를 들어 공중에 모자를 놓는 식으로 공간적 및 관계적 추론의 어려움을 보였다.