[논문 리뷰] Document-editing Assistants and Model-based Reinforcement Learning as a Path to Conversational AI

Katya Kudashkina, Patrick M. Pilarski외 1명|arXiv (Cornell University)|2020. 08. 27.

Topic Modeling참고 문헌 199인용 수 4

한 줄 요약

이 논문은 모델 기반 강화학습(MBRL)을 활용하여 목적 중심, 목표 지향적인 상호작용을 가능하게 함으로써 대화형 AI 어시스턴트 개발을 위한 집중적 도메인으로 음성 문서 편집을 제안한다. 실제 사용자 상호작용에서 학습하고 내부 세계 모델을 구축함으로써 MBRL는 어시스턴트가 사용자 의도를 이해하고 동적으로 적응하며 지속적인 온라인 학습을 통해 협업 능력을 향상시켜 진정으로 대화형이고 지능적인 어시스턴트로 나아가게 한다.

ABSTRACT

Intelligent assistants that follow commands or answer simple questions, such as Siri and Google search, are among the most economically important applications of AI. Future conversational AI assistants promise even greater capabilities and a better user experience through a deeper understanding of the domain, the user, or the user's purposes. But what domain and what methods are best suited to researching and realizing this promise? In this article we argue for the domain of voice document editing and for the methods of model-based reinforcement learning. The primary advantages of voice document editing are that the domain is tightly scoped and that it provides something for the conversation to be about (the document) that is delimited and fully accessible to the intelligent assistant. The advantages of reinforcement learning in general are that its methods are designed to learn from interaction without explicit instruction and that it formalizes the purposes of the assistant. Model-based reinforcement learning is needed in order to genuinely understand the domain of discourse and thereby work efficiently with the user to achieve their goals. Together, voice document editing and model-based reinforcement learning comprise a promising research direction for achieving conversational AI.

연구 동기 및 목표

• 사용자의 목적을 이해하고 시간이 지남에 따라 적응할 수 있는 대화형 AI 어시스턴트를 개발하는 데 도전하는 것.
• 대화와 목표 지향적 행동에 대한 구체적이고 제한된 맥락을 제공하는, 좁고 접근하기 쉬운 도메인인 음성 문서 편집을 특정하는 것.
• 모델 기반 강화학습(MBRL)이 어시스턴트가 내부 세계 모델을 학습하고 사용자 목표에 대해 효율적으로 추론할 수 있도록 하는 데 필수적임을 주장하는 것.
• 실제 사용자 상호작용에서 온라인 학습을 통해 커뮤니케이션 자원을 구축하고 성능을 지속적으로 향상시키는 방법으로서의 상호작용 학습을 장려하는 것.
• 진정한 이해와 적응 능력을 갖춘 더 넓은 범위의 대화형 AI 시스템 개발을 위한 테스트 베드로 음성 문서 편집 어시스턴트를 위치짓는 것.

제안 방법

• 사용자가 자연어 명령어를 통해 텍스트를 수정하는 데 있어 어시스턴트가 사용자와 상호작용하는 제어된 실제 도메인으로 음성 문서 편집을 사용한다.
• 모델 기반 강화학습(MBRL)을 적용하여 어시스턴트가 상호작용에서 환경(즉, 문서 상태 변화)의 예측 모델을 학습할 수 있도록 한다.
• 실제 인간-컴퓨터 상호작용에서의 온라인 학습을 통해 어시스턴트의 동적 적응과 커뮤니케이션 전략의 공동 개발을 가능하게 한다.
• 사전 훈련을 위해 온라인 데이터셋—예를 들어 Mechanical Turk에서의 커뮤니티 기반 음성 입력 및 편집 로그 또는 조직 내 워크플로우 자료—를 활용하여 초깃론적 구조적 및 언어적 지식을 제공한다.
• 실제 상호작용 데이터가 제한된 경우, 특히 초기 개발 단계에서 시뮬레이션 사용자 또는 합성 데이터 파이프라인을 활용하여 훈련 데이터를 생성한다.
• MBRL에서 시간적으로 추상화된 행동(옵션)을 활용하여 고수준 계획 및 추론을 지원하고, 어시스턴트가 복잡한 편집 작업을 하위 목표의 시퀀스로 관리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 음성 문서 편집은 사용자 목표에 대한 깊은 이해를 갖춘 대화형 AI 어시스턴트 개발을 위한 실현 가능하고 집중적인 도메인으로서 적합한가?
• RQ2 모델 기반 강화학습(MBRL)은 문서 편집 맥락에서 어시스턴트가 내부 세계 모델을 학습하고 사용자 의도에 대해 추론할 수 있도록 하는 데 어떻게 기여하는가?
• RQ3 적응 가능성과 초깃수 성능 측면에서, 음성 편집 어시스턴트의 온라인 훈련과 오프라인 훈련 간의 상대적 이점은 무엇인가?
• RQ4 실시간 상호작용 중에 사용자와 어시스턴트가 함께 공유된 이해와 상호작용 패턴—즉, 커뮤니케이션 자원—을 어떻게 공동 개발할 수 있는가?
• RQ5 MBRL를 통해 훈련된 음성 편집 어시스턴트는 얼마나 높은 수준의 사용자 목표를 이해하고 실행할 수 있는가? 즉, 명령어를 단순히 실행하는 것이 아니라 목적 중심 행동을 수행할 수 있는가?

주요 결과

• 음성 문서 편집은 어시스턴트와 사용자가 함께 공유 맥락을 구성할 수 있어 잘 정의되고 접근하기 쉬운 도메인이며, 대화형 AI 연구에 이상적인 조건을 제공한다.
• 모델 기반 강화학습(MBRL)은 문서 상태 전이에 대한 내부 모델을 구축함으로써 더 효율적인 계획 수립과 목표 지향적 행동을 가능하게 한다.
• 실제 사용자 상호작용에서의 온라인 학습은 어시스턴트가 지속적으로 적응하고 사용자와 함께 커뮤니케이션 전략을 공동 개발함으로써 장기적인 협업 능력을 향상시킨다.
• 오프라인 데이터셋—예를 들어 커뮤니티 기반 음성 입력 및 편집 시퀀스—을 활용한 사전 훈련은 초기 성능 향상에 필수적인 언어적 및 구조적 지식을 제공한다.
• MBRL에서 시간적으로 추상화된 행동(옵션)의 활용은 고수준 추론을 지원하며, 어시스턴트가 복잡한 편집 작업을 하위 목표의 시퀀스로 관리할 수 있도록 한다.
• 제안된 접근법은 음성 편집 어시스턴트의 발전을 이끄는 것뿐만 아니라, 더 넓은 도메인에서 목적 중심이고 적응 가능한 다른 AI 어시스턴트를 구축하는 데도 이식 가능한 통찰을 제공한다.