[논문 리뷰] Robust Conversational AI with Grounded Text Generation

Jianfeng Gao, Baolin Peng외 5명|arXiv (Cornell University)|2020. 09. 07.

Topic Modeling참고 문헌 81인용 수 15

한 줄 요약

이 논문은 대규모 사전 훈련된 트랜스포머와 상징적 지식 모듈을 결합하여 강건하고 확장 가능한 작업 중심 대화 시스템을 구축하는 하이브리드 기반 텍스트 생성(GTG) 모델을 제안한다. 신경망 생성과 구조화된 지식 추론, 믿음 상태 추적을 통합함으로써 GTG는 신뢰할 수 있고 해석 가능하며 제어 가능한 작업 완료를 달성하며, 벤치마크 평가와 인터랙티브 환경 모두에서 엔드 투 엔드 신경망 모델을 능가한다.

ABSTRACT

This article presents a hybrid approach based on a Grounded Text Generation (GTG) model to building robust task bots at scale. GTG is a hybrid model which uses a large-scale Transformer neural network as its backbone, combined with symbol-manipulation modules for knowledge base inference and prior knowledge encoding, to generate responses grounded in dialog belief state and real-world knowledge for task completion. GTG is pre-trained on large amounts of raw text and human conversational data, and can be fine-tuned to complete a wide range of tasks. The hybrid approach and its variants are being developed simultaneously by multiple research teams. The primary results reported on task-oriented dialog benchmarks are very promising, demonstrating the big potential of this approach. This article provides an overview of this progress and discusses related methods and technologies that can be incorporated for building robust conversational AI systems.

연구 동기 및 목표

• 수동으로 작성된 규칙나 순수하게 신경망 기반 엔드 투 엔드 모델에 의존하는 기존 작업 중심 대화 시스템의 강건성과 확장성 부족 문제를 해결하기 위해.
• 작업 봇이 대화 믿음 상태와 실제 세계 지식에 기반한 응답을 생성할 수 있도록 하여 해석 가능성과 신뢰성을 확보하기 위해.
• 지속적 학습, 지식 정제, 제로샷 일반화를 지원하는 확장 가능한 프레임워크를 개발하기 위해.
• 작업 봇을 넘어 성격, 정서 지능, 사회적 기반을 필요로 하는 사회적 봇으로의 응용을 확장하기 위해.

제안 방법

• GTG 모델은 믿음 추적, 동작 선택, 응답 생성를 위한 모듈러 파이프라인에서 공유 파라미터를 사용하는 다층 트랜스포머를 시퀀스 모델링의 핵심으로 사용한다.
• 실제 세계 사실에 기반한 기반을 확보하기 위해 지식 기반 추론 및 일반 지식과 업무 규칙의 인코딩을 위한 상징적 모듈을 통합한다.
• 모델은 세 단계로 사전 훈련된다: (1) 원시 텍스트에서의 언어 모델링, (2) 이질적인 대화 데이터에서의 작업 완료, (3) 애너테이션된 대화 데이터에서의 작업별 미세조정.
• 인간이 참여하는 지속적 학습을 지원하기 위해 통합된 머신 테이칭 UI를 도입하여 모델 오류의 반복적 수정과 지식 기반의 업데이트를 가능하게 한다.
• 내부 환경 모델과 보상 함수를 통해 환경 변화에 대한 계획 및 적응을 가능하게 하기 위해 모델 기반 강화 학습(예: DDQ 에이전트)을 탐색한다.
• 모델 크기를 줄여 자원 제약이 있는 장치에 배포할 수 있도록, 작업 무관 지식 정제 기법을 적용한다.

실험 결과

연구 질문

• RQ1 하이브리드 신경-상징 아키텍처가 작업 중심 대화에서 순수 신경 엔드 투 엔드 모델보다 강건성과 신뢰성 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 대규모 사전 훈련된 언어 모델을 어떻게 효과적으로 대화 믿음 상태와 외부 지식 기반과 기반시킬 수 있는가?
• RQ3 GTG 프레임워크가 동적인 실제 환경에서 지속적 학습과 적응을 얼마나 잘 지원할 수 있는가?
• RQ4 GTG 모델은 기존에 알려진 대화 스킬의 새로운 조합에 대해 일반화할 수 있는가? 복잡한 작업에 대해 제로샷 일반화를 가능하게 하는가?
• RQ5 상호작용적이고 사회적으로 기반된 학습을 통해 일관된 성격과 정서 지능을 갖춘 사회적 봇을 어떻게 구축할 수 있는가?

주요 결과

• GTG 모델은 작업 중심 대화 벤치마크에서 뛰어난 성능을 보이며, 엔드 투 엔드 신경망 모델 대비 신뢰성과 제어 가능성 면에서 뚜렷한 향상을 보였다.
• 인터랙티브 평가 결과, GTG가 생성한 응답은 순수 신경망 모델의 응답보다 더 해석 가능하고 작업에 적합한 것으로 확인되었다.
• 하이브리드 아키텍처는 상징적 모듈을 통한 효과적인 지식 통합을 가능하게 하여 환상 현상을 감소시키고 실제 세계 사실에 대한 기반을 강화했다.
• 인간이 참여하는 지속적 학습 인터페이스를 통해 생산 환경에서 모델의 반복적 개선과 지식 기반의 업데이트가 가능했다.
• 지식 정제 기법은 성능 저하 없이 모델 크기를 크게 줄였으며, 자원 제약이 있는 장치에의 배포를 가능하게 했다.
• 모델 기반 강화 학습(예: DDQ 에이전트)은 내부 시뮬레이션과 보상 기반 최적화를 통해 환경 변화에 대한 적응적 계획 수립과 빠른 반응을 가능하게 했다.