[논문 리뷰] SIMMC: Situated Interactive Multi-Modal Conversational Data Collection And Evaluation Platform

Paul Crook, Shivani Poddar외 5명|arXiv (Cornell University)|2019. 11. 07.

AI in Service Interactions참고 문헌 6인용 수 12

한 줄 요약

SIMMC는 AI Habitat와 Unity 환경을 활용하여 가상현실(VR) 기반 플랫폼을 도입하여 정황 기반의 다중 모odal 대화 데이터를 수집하고 평가하는 데 목적이 있다. 이 플랫폼은 사진과 유사한 환경에서 실시간 사용자 및 어시스턴트 상호작용을 가능하게 하는 워즈드 오브 오즈(Wizard of Oz) 방식의 데이터 수집을 지원하며, 다중 모달 컨텍스트 추적, 공명성 해결, 능동적 대화 시스템을 포함한다. 연구 공동체가 사용할 수 있도록 대규모이고 현실적인 대화형 AI 데이터셋을 공개할 계획이다.

ABSTRACT

As digital virtual assistants become ubiquitous, it becomes increasingly important to understand the situated behaviour of users as they interact with these assistants. To this end, we introduce SIMMC, an extension to ParlAI for multi-modal conversational data collection and system evaluation. SIMMC simulates an immersive setup, where crowd workers are able to interact with environments constructed in AI Habitat or Unity while engaging in a conversation. The assistant in SIMMC can be a crowd worker or Artificial Intelligent (AI) agent. This enables both (i) a multi-player / Wizard of Oz setting for data collection, or (ii) a single player mode for model / system evaluation. We plan to open-source a situated conversational data-set collected on this platform for the Conversational AI research community.

연구 동기 및 목표

• 실제로 발생하는 정황 기반의 대화형 AI 데이터 부족 문제를 해결하기 위해 사용자와 어시스턴트가 실시간으로 상호작용하는 몰입형 상호작용 환경을 시뮬레이션하는 것.
• 시각적, 공간적, 언어적 신호가 동시에 발생하는 동적인 다중 모달 환경에서 데이터 수집을 가능하게 하여 실제 세계의 VA 상호작용을 반영하는 것.
• 인간이 참여하는(워즈드 오브 오즈) 데이터 수집과 ParlAI를 활용한 자동화된 시스템 평가를 모두 지원하는 것.
• 수백 개의 제어 가능한 물체를 포함한 다양한 확장 가능한 시나리오를 생성하여 대화의 다양성과 현실감을 향상시키는 것.
• 풍부한 로깅된 상호작용 트레이스를 통해 다중 모달 공명성, 컨텍스트 추적, 지식 정렬, 대화 전략 연구를 촉진하는 것.

제안 방법

• AI Habitat와 Unity를 VR 엔진으로 통합하여 사진과 유사한 3차원 환경을 렲러링하고, WebGL을 통해 사용자 및 어시스턴트 인터페이스로 스트리밍하는 방식.
• 세션 쌍화, 대화 메시지 라우팅, 사용자 및 어시스턴트 간의 실시간 시나리오 동기화를 담당하는 ParlAI 서버를 운영하는 방식.
• 모든 사용자 상호작용, 대화 턴, 시각적 물체 상태, 시나리오 스크린샷을 메시지 교환 시점마다 기록하고 로깅하여 다중 모달 컨텍스트 복원을 가능하게 하는 방식.
• 이중 플레이어(워즈드 오브 오즈) 및 단일 플레이어(AI 에이전트 평가) 모드를 모두 지원하여 데이터 수집 및 모델 벤치마킹의 유연성을 확보하는 방식.
• 사용자 발화에 대응하여 워즈드가 시나리오 상태(예: 물체 위치, 속성)를 조작할 수 있는 GUI 제어 기능을 제공하여 실시간 어시스턴트 행동을 시뮬레이션하는 방식.
• AI Habitat는 원격 렌더링을 활용하고 Unity는 로컬 WebGL 실행을 사용하며, 시나리오 일致성을 유지하기 위해 이벤트 동기화를 Scene Server를 통해 수행하는 방식.

실험 결과

연구 질문

• RQ1 어떻게 몰입형 상호작용 VR 환경에서 실제 세계의 정황 기반 사용자 행동을 반영하는 다중 모달 대화 데이터를 수집할 수 있는가?
• RQ2 VR 환경에서 동적인 인간-AI 상호작용 중에 시각적, 공간적, 언어적 다중 모달 컨텍스트를 일관성 있게 유지하는 데 있어 핵심 과제는 무엇인가?
• RQ3 어떻게 복잡한 상호작용 시나리오에서 대화형 AI 에이전트의 데이터 수집과 평가를 모두 지원하는 확장 가능한 플랫폼을 설계할 수 있는가?
• RQ4 VR 기반 시뮬레이션을 통해 효과적으로 모델링하고 수집할 수 있는 능동적이고 상호작용적인 대화 시나리오는 어떤 것들이 있는가?
• RQ5 물체 조작과 공간 인식 기능의 통합이 대화형 AI 학습 데이터의 현실감과 유용성을 어떻게 향상시키는가?

주요 결과

• SIMMC는 사진과 유사한 VR 환경에서 실시간으로 몰입형 다중 모달 대화 데이터를 수집할 수 있도록 이중 사용자 워즈드 오브 오즈 설정을 성공적으로 구현하였다.
• 플랫폼은 동기화된 대화, 시각적 시나리오 상태, 물체 레이아웃, 스크린샷을 모두 로깅하여 학습 및 평가에 적합한 풍부한 다중 모달 컨텍스트를 제공한다.
• AI Habitat와 Unity를 활용함으로써 수백 개의 제어 가능한 물체와 동적 시나리오 구성이 가능해져 기존 비디오 기반 데이터셋 대비 시나리오 변동성과 다양성을 크게 향상시켰다.
• 아키텍처는 인간 워즈드가 참여하는 데이터 수집과 AI 에이전트 평가를 모두 지원하여 반복적인 시스템 개발에 적합하다.
• 세부적이고 시간적으로 정렬된 상호작용 트레이스를 기록함으로써 다중 모달 공명성, 컨텍스트 추적, 능동적 대화 연구를 촉진한다.
• 저자들은 SIMMC를 통해 수집한 대규모 정황 기반 대화 데이터셋을 공개할 계획이며, 이는 현실적인 다중 모달 대화형 AI 연구를 진전시키는 데 기여할 것이다.