[논문 리뷰] Multimodal Dialogs (MMD): A large-scale dataset for studying multimodal domain-aware conversations.

Amrita Saha, Mitesh M. Khapra외 1명|arXiv (Cornell University)|2017. 04. 01.

Multimodal Machine Learning Applications참고 문헌 7인용 수 5

한 줄 요약

이 논문은 패션 리테일 도메인에서 쇼핑객과 영업 직원 간의 150K개의 다중모달, 도메인 인지 대화 세션으로 구성된 대규모 데이터셋 MMD를 소개한다. 다중모달 대화 연구를 위한 다섯 가지 새로운 하위 작업을 제안하고, 인코딩-주의-디코딩 프레임워크를 사용한 신경 기반 베이스라인을 수립하며, 복잡한 대화적 과제에 대한 집중적 연구를 안내하기 위해 아홉 가지 핵심 대화 상태별 평가를 가능하게 한다.

ABSTRACT

While multimodal conversation agents are gaining importance in several domains such as retail, travel etc., deep learning research in this area has been limited primarily due to the lack of availability of large-scale, open chatlogs. To overcome this bottleneck, in this paper we introduce the task of multimodal, domain-aware conversations, and propose the MMD benchmark dataset. This dataset was gathered by working in close coordination with large number of domain experts in the retail domain. These experts suggested various conversations flows and dialog states which are typically seen in multimodal conversations in the fashion domain. Keeping these flows and states in mind, we created a dataset consisting of over 150K conversation sessions between shoppers and sales agents, with the help of in-house annotators using a semi-automated manually intense iterative process. With this dataset, we propose 5 new sub-tasks for multimodal conversations along with their evaluation methodology. We also propose two multimodal neural models in the encode-attend-decode paradigm and demonstrate their performance on two of the sub-tasks, namely text response generation and best image response selection. These experiments serve to establish baseline performance and open new research directions for each of these sub-tasks. Further, for each of the sub-tasks, we present a `per-state evaluation' of 9 most significant dialog states, which would enable more focused research into understanding the challenges and complexities involved in each of these states.

연구 동기 및 목표

• 실세계 도메인에서 다중모달 대화 에이전트를 훈련하고 평가하기 위한 대규모, 오픈소스 다중모달 대화 기록의 부족을 해소하기 위해.
• 실제로 관찰되는 패션 리테일 상호작용에서의 현실적이고 복잡한 대화 흐름과 상태를 반영하는 벤치마크 데이터셋을 개발하기 위해.
• 텍스트 응답 생성 및 이미지 응답 선택을 포함한 다중모달 이해 및 생성에 중점을 둔 세부 작업 세 가지를 포함한 다섯 가지 새로운 하위 작업을 제안하고, 명확한 평가 프로토콜을 정의하기 위해.
• 성능 비교 및 향후 방법 개발을 가능하게 하기 위해 인코딩-주의-디코딩 철학을 기반으로 한 신경 모델 베이스라인을 수립하기 위해.
• 아홉 가지 중요한 대화 상태에 걸쳐 상태별 평가를 통해 세부적인 분석을 가능하게 하여 다중모달 이해 및 생성에서의 작업별 과제를 드러내기 위해.

제안 방법

• 리테일 및 패션 도메인 전문가와 협력하여 현실적인 대화 흐름과 대화 상태를 정의하기 위해.
• 반복적이고 수작업 중심이며 부분적으로 자동화된 데이터 수집 프로세스를 사용하여 내부 애너테이터를 통해 150,000개 이상의 대화 세션을 수집하기 위해.
• 텍스트 응답 생성, 최적의 이미지 응답 선택, 그리고 다중모달 이해 및 생성에 중점을 둔 세 가지 추가 작업을 포함한 다섯 가지 새로운 하위 작업을 포함한 벤치마크를 설계하기 위해.
• 텍스트 및 이미지 입력을 공동 처리하기 위해 인코딩-주의-디코딩 아키텍처를 기반으로 한 두 가지 다중모달 신경 모델을 제안하기 위해.
• 아홉 가지 핵심 대화 상태에 걸쳐 모델 성능을 평가하는 상태별 평가 프로토콜을 구현하여 상태별 성능 격차를 식별하기 위해.
• 각 하위 작업에 대한 평가 지표를 정의하였으며, 응답 생성에는 표준 지표를, 이미지 응답 선택에는 검색 기반 지표를 사용하기 위해.

실험 결과

연구 질문

• RQ1 실제로 존재하는 패션 리테일 대화를 반영할 수 있는 대규모, 현실적이고 도메인 특화된 다중모달 대화 데이터셋을 어떻게 구성할 수 있는가?
• RQ2 다중모달, 도메인 인지 대화에서 도출되는 핵심 하위 작업은 무엇이며, 어떻게 공식적으로 정의하고 평가할 수 있는가?
• RQ3 실제 리테일 환경에서 다중모달 신경 모델은 텍스트 응답 생성과 이미지 응답 선택 작업에서 어떻게 성능을 발휘하는가?
• RQ4 다양한 대화 상태 간의 성능 차이는 무엇이며, 어떤 상태가 다중모달 에이전트에게 가장 큰 과제를 안기는가?
• RQ5 상태별 평가는 복잡한 대화 상황에서 다중모달 모델의 한계와 강점을 드러내는 데 의미 있는 통찰을 제공할 수 있는가?

주요 결과

• MMD 데이터셋은 쇼핑객과 영업 직원 간의 150,000개 이상의 대화 세션을 포함하며, 패션 도메인에서 다양한 현실적인 다중모달 상호작용을 포괄한다.
• 텍스트 응답 생성 및 최적의 이미지 응답 선택을 포함한 제안된 하위 작업들은 다중모달 대화 시스템 평가를 위한 체계적인 프레임워크를 제공한다.
• 인코딩-주의-디코딩 철학을 기반으로 한 신경 기반 베이스라인은 두 가지 핵심 하위 작업에서 측정 가능한 성능을 달성하여 향후 모델 개발의 기반을 마련한다.
• 상태별 평가 결과, 아홉 가지 핵심 대화 상태 간에 성능에 상당한 변동성이 있음이 드러나며, 다중모달 이해에서의 상태별 과제를 강조한다.
• 데이터셋과 평가 프로토콜은 맥락 인지 이미지 선택 및 다중턴 응답 일관성과 같은 대화 상태별 병목 현상에 대한 집중적 연구를 가능하게 한다.
• 전문가가 검증한 대규모 데이터셋과 세부적인 대화 상태 레이블이 제공되는 이 데이터셋은 다중모달, 도메인 인지 대화 시스템 분야에서 새로운 연구 방향을 열어준다.