[논문 리뷰] MeetUp! A Corpus of Joint Activity Dialogues in a Visual Environment

Nikolai Ilinykh, Sina Zarrieß외 1명|arXiv (Cornell University)|2019. 07. 11.

Multimodal Machine Learning Applications참고 문헌 36인용 수 24

한 줄 요약

이 논문은 두 플레이어가 서로를 만날 목적으로 2차원 환경에서 공동으로 탐색하는 시각적 환경에서의 공동 활동 대화를 위한 새로운 작업과 코퍼스인 MeetUp!을 소개한다. 이는 시각적 및 대화적 기반을 바탕으로 한다. 데이터셋은 대화의 교환, 상호 전략 협의, 지각적 불일치와 같은 풍부한 상호작용적 대화 현상을 포착하며, 시각-언어 연구 분야에서 고정된 기준 게임이나 질문-답변 벤치마크에 비해 더 자연스러운 대안을 제공한다.

ABSTRACT

Building computer systems that can converse about their visual environment is one of the oldest concerns of research in Artificial Intelligence and Computational Linguistics (see, for example, Winograd's 1972 SHRDLU system). Only recently, however, have methods from computer vision and natural language processing become powerful enough to make this vision seem more attainable. Pushed especially by developments in computer vision, many data sets and collection environments have recently been published that bring together verbal interaction and visual processing. Here, we argue that these datasets tend to oversimplify the dialogue part, and we propose a task---MeetUp!---that requires both visual and conversational grounding, and that makes stronger demands on representations of the discourse. MeetUp! is a two-player coordination game where players move in a visual environment, with the objective of finding each other. To do so, they must talk about what they see, and achieve mutual understanding. We describe a data collection and show that the resulting dialogues indeed exhibit the dialogue phenomena of interest, while also challenging the language & vision aspect.

연구 동기 및 목표

• 기존의 시각-언어 데이터셋이 대화의 역동성과 복잡성을 단순화하여 비대칭적이고 고정된 상호작용 프로토콜을 강제하는 데서 비롯하는 한계를 해결하기 위해.
• 양측 플레이어가 동일한 책임을 지고, 사전에 정의된 역할 없이도 알려지지 않은 환경에서 공통 목표인 만남을 달성하는 대칭적이고 협업적인 작업을 만들기 위해.
• 실제 대화적 기반 현상, 예를 들어 대화의 번갈아 말하기, 명확화, 지각 분류에 대한 협의(예: '그건 거울이야, 그림이야?') 등을 보여주는 대화를 수집하기 위해.
• 대화 모델링과 상황 기반 의사소통의 언어 분석을 지원하는, 400개 이상의 대화로 구성된 확장 가능한 커뮤니티 기반 데이터셋을 제공하기 위해.
• 동적인 상호작용 환경에서 시각적 인식, 대화 상태 추적, 공동 전략 수립을 통합하는 모델 개발을 가능하게 하기 위해.

제안 방법

• 플레이어가 사전에 레이아웃을 알지 못한 채 2차원 격자 기반 시각적 환경에서 만나야 하는 두 플레이어 간의 협업 게임을 설계하기 위해.
• 질문자/답변자 또는 리더/팔로워 역할이 없는 대칭적 상호작용 프로토콜을 구현하여 동등한 참여를 촉진하기 위해.
• 플레이어들이 본 것을 묘사하고 서로를 찾기 위해 행동을 조율하도록 커뮤니티 기반으로 대화를 수집하기 위해.
• 부분 관측 가능한 상태 공간을 사용: 각 플레이어는 자신의 위치와 주변 환경만을 볼 수 있으며, 상대방의 위치는 대화를 통해 유추된다.
• 공동 참조, 전략 협의(예: '내가 너를 찾아줄게') 및 지각적 불일치(예: '그건 거울이야, 그림이야?')와 같은 핵심 대화 현상을 추적하기 위해.
• 에이전트가 경로, 공개된 발언, 유추된 위치, 현재 전략을 기억해야 하는 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 게임을 모델링하기 위해.

실험 결과

연구 질문

• RQ1 시각-언어 데이터셋은 정적 기준 또는 질문-답변 쌍을 넘어서 실제 대화의 역동적이고 상호작용적인 성격을 어떻게 더 잘 포착할 수 있는가?
• RQ2 협업적 시각 작업에서 플레이어는 대화의 번갈아 말하기, 명확화, 전략 협의와 같은 대화적 기반 현상에 얼마나 자연스럽게 참여하는가?
• RQ3 시각 환경에서 대칭적이고 목표 중심의 대화 작업은 전통적인 비대칭 기준 게임에 비해 더 풍부한 언어적 및 다중모odal 상호작용을 이끌어낼 수 있는가?
• RQ4 양측이 환경에 대해 제한적이고 비대칭적인 시각적 접근을 가질 때 상호 이해를 달성하는 데 있어 핵심적인 언어적 및 지각적 과제는 무엇인가?
• RQ5 대화 상태 추적은 물체 참조 외에도 어떻게 진화하는 공동 전략과 지각적 불일치를 포함하도록 확장할 수 있는가?

주요 결과

• 수집된 코퍼스는 커뮤니티 기반 상호작용에서 유래한 400개 이상의 대화를 포함하고 있으며, 대화의 번갈아 말하기, 명확화, 상호 전략 협의와 같은 다양한 대화 현상을 보여준다.
• 플레이어들은 자주 지각적 불일치에 참여하며, 예를 들어 어떤 물체가 거울인지 그림인지에 대해 논의함으로써 지각 분류에 대한 활발한 협의를 한다.
• 평균 문장 길이는 1.48턴으로, 높은 수준의 대화 참여도와 낮은 수준의 무의미한 대화를 시사한다.
• 가장 흔한 문장 시작은 질문(예: '그건 거울이야?')과 서술문장(예: '문을 봐')으로, 질문과 정보 공유 사이의 균형을 반영한다.
• 플레이어들은 종종 전략에 동의하며, 예를 들어 '내가 너를 찾아줄게' 또는 '우리가 둘 다 돌아가자'와 같이 공동 계획 수립과 공통 목표 추적을 나타낸다.
• 데이터는 비단 시각적 콘텐츠와 참조 외에도 진화하는 대화 전략과 동반자 에이전트의 추론된 상태를 추적할 수 있는 모델의 필요성을 뒷받침한다.