[논문 리뷰] Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings

David Schlangen|arXiv (Cornell University)|2019. 08. 29.

Multimodal Machine Learning Applications참고 문헌 20인용 수 10

한 줄 요약

이 논문은 '기반된 합의 게임(grounded agreement games)'을 소개한다—시각 대화에서 상호 이해를 강조하기 위해 작업 완료에 대해 상호 합의를 요구하는 새로운 프레임워크이다. 공통된 목표인 합의 도달을 통합함으로써, 메타의미적 조율, 수리 전략, 더 풍부한 상호작용 패턴을 촉진하여, 표준 다음 문장 예측 작업에 비해 더 자연스럽고 기반된 대화 학습이 가능해진다.

ABSTRACT

Where early work on dialogue in Computational Linguistics put much emphasis on dialogue structure and its relation to the mental states of the dialogue participants (e.g., Allen 1979, Grosz & Sidner 1986), current work mostly reduces dialogue to the task of producing at any one time a next utterance; e.g. in neural chatbot or Visual Dialogue settings. As a methodological decision, this is sound: Even the longest journey is a sequence of steps. It becomes detrimental, however, when the tasks and datasets from which dialogue behaviour is to be learned are tailored too much to this framing of the problem. In this short note, we describe a family of settings which still allow to keep dialogues simple, but add a constraint that makes participants care about reaching mutual understanding. In such agreement games, there is a secondary, but explicit goal besides the task level goal, and that is to reach mutual understanding about whether the task level goal has been reached. As we argue, this naturally triggers meta-semantic interaction and mutual engagement, and hence leads to richer data from which to induce models.

연구 동기 및 목표

• 현재의 시각 대화 데이터셋에서 대화적 기반의 부족을 해결하기 위해, 상호 이해를 모델링하지 못하는 다음 문장 예측으로 단순화된 대화를 줄이기 위해.
• 참가자들이 상호 조율하고 작업 결과를 함께 확인해야 하는 대화 설정을 만들기 위해, 수리 및 의미적 협상과 같은 조율 현상에 초점을 맞추기 위해.
• 복잡한 상호작용 패턴인 피드백, 명확화, 개념 정렬을 지원할 수 있는 간단하고 제어 가능한 환경을 설계하기 위해.
• 더 인간에 가까운 대화 조율을 반영하는 데이터 기반의 풍부한 대화 상호작용을 제공하여 대화 에이전트의 더 강력한 훈련을 가능하게 하기 위해.
• 명시적인 합의 메커니즘이 더 자연스럽고 상호작용적이며 의미적으로 조율된 대화 행동을 이끌어내는지 입증하기 위해.

제안 방법

• 참가자들이 작업 완료에 대해 공동으로 확인해야 하는 '합의 게임'을 도입하여, 주된 작업 외에도 상호 이해라는 보조 목표를 만들어내기 위해.
• 공간 조율, 이미지 매칭, 개념 협상에 각각 중점을 두는 MeetUp, MatchIt, Concept Learning Game 등의 환경을 설계하기 위해.
• 양측 모두가 게임을 종료하기 위해 동의해야 하는 공통 목표와 기여 대칭성(Commitment Symmetry)을 도입하여, 한쪽이 단독으로 진행하는 것을 방지하기 위해.
• 최종 합의 이전의 관련 영역을 마련하여 피드백과 명확화를 가능하게 하기 위해 상호작용을 구성하기 위해.
• 참가자들이 자연어를 사용하여 모호성을 해결하기 위해 실내 유형이나 이미지 정체성 등의 의미적 내용을 협상하는 대화를 수집하고 분석하기 위해.
• 기존의 데이터셋과 도구(예: sempix, meetup 코드)를 사용하여 재현 가능성과 재사용을 위해 데이터 포맷을 표준화하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 하면 다음 문장 생성이 아닌 상호 이해와 조율을 강조하는 대화 설정을 설계할 수 있는가?
• RQ2 시각 대화에서 참가자들이 작업 완료에 대해 상호 합의를 해야 할 때 어떤 상호작용 패턴이 나타나는가?
• RQ3 합의 기반 설정이 표준 시각 질문-답변나 시나리오나 챗봇 벤치마크에 비해 더 풍부하고 기반된 대화 행동을 이끌어낼 수 있는가?
• RQ4 양측이 결과에 대해 합의해야 할 때 참가자들은 어떻게 의미적 내용을 협상하고 모호성을 해결하는가?
• RQ5 합의 게임이 피드백, 명확화, 개념 정렬과 같은 메타의미적 상호작용을 어느 정도 지원하는가?

주요 결과

• 합의 게임은 표준 시각 대화 설정에서 부재한 메타의미적 상호작용, 예를 들어 피드백, 명확화, 개념 협상 등을 성공적으로 유도한다.
• MeetUp 게임에서 참가자들은 공간적 추론을 조율하고 상호 확인을 하며, 시각적 단서가 모호하더라도 공통된 위치에 대해 서술어를 사용해 일치를 이룬다.
• MatchIt 게임은 단순한 이미지 매칭 작업조차도 명시적인 상호 확인과 의미 협상을 이끌어내며, 예를 들어 실내가 세탁실인지 화장실인지를 결정하는 데에 사용된다.
• Concept Learning Game에서는 참가자들이 공통의 시각적 범주, 예를 들어 새의 깃털 색상이나 발의 색상 등을 수정하고 개선하여 공감대를 형성한다.
• 합의 메커니즘이 기여 대칭성을 만들어내어 단독으로 작업을 완료하는 것을 방지하고, 양쪽 에이전트가 조율 과정에 계속 참여하도록 보장한다.
• 결과적으로 생성된 대화는 더 자연스럽고 상호작용적이며 기반된 성격을 띠며, 표준 다음 문장 예측 벤치마크에서 부재한 실제 대화의 역학, 예를 들어 수리와 일치 조율을 반영한다.