[논문 리뷰] Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems

Swadheen Shukla, Lars Lidén외 7명|arXiv (Cornell University)|2020. 04. 09.

Speech and dialogue systems참고 문헌 10인용 수 8

한 줄 요약

Conversation Learner는 규칙 기반 대화 플로우와 신경망 기반 대화 관리자 간의 격차를 메우는 기계 학습 도구입니다. 이 도구는 규칙 기반 플로우를 하이브리드 코드 네트워크(HCN) 기반 모델로 변환하고, 대화 작성자가 레이블이 붙은 대화 로그를 사용하여 교육 인터페이스를 통해 성능을 반복적으로 향상시킬 수 있도록 합니다. 단 3~5개의 교육 예시만으로도 규칙 기반 시스템 대비 작업 완료 품질에서 13.8% 향상된 성능을 달성합니다.

ABSTRACT

Traditionally, industry solutions for building a task-oriented dialog system have relied on helping dialog authors define rule-based dialog managers, represented as dialog flows. While dialog flows are intuitively interpretable and good for simple scenarios, they fall short of performance in terms of the flexibility needed to handle complex dialogs. On the other hand, purely machine-learned models can handle complex dialogs, but they are considered to be black boxes and require large amounts of training data. In this demonstration, we showcase Conversation Learner, a machine teaching tool for building dialog managers. It combines the best of both approaches by enabling dialog authors to create a dialog flow using familiar tools, converting the dialog flow into a parametric model (e.g., neural networks), and allowing dialog authors to improve the dialog manager (i.e., the parametric model) over time by leveraging user-system dialog logs as training data through a machine teaching interface.

연구 동기 및 목표

• 복잡하거나 이탈된, 또는 모호한 사용자 입력을 처리하는 데 어려움을 겪는 규칙 기반 대화 관리자의 한계를 해결하기 위해.
• 순수하게 신경망 기반 대화 관리자의 투명성 부족과 데이터 집약적인 요구 조건을 극복하기 위해.
• 실제 사용자-시스템 상호작용 로그를 활용해 대화 작성자가 대화 정책을 향상시킬 수 있는 실용적이고 상호작용 가능한 인터페이스를 제공하기 위해.
• 규칙 기반 시스템의 해석 가능성은 유지하면서도 학습된 모델의 일반화 능력을 확보하는 하이브리드 접근 방식을 제공하기 위해.
• 최소한의 인간 간섭을 통해 기계 학습을 활용하면 신경 대화 정책 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• Power Virtual Agents와 같은 도구에서 생성한 규칙 기반 대화 플로우를 파rametric HCN 기반 대화 관리자로 변환하기 위해.
• 대화 작성자가 문제 있는 대화 로그를 검토하고 수정할 수 있도록 기계 학습 교육 인터페이스를 활용하기 위해.
• 수정된 대화 전사본을 기반으로 HCN 기반 대화 정책을 훈련시켜 의사결정 능력을 향상시키기 위해.
• HCN에서 대화 상태 전이와 정책 결정을 표현하기 위해 액션 마스킹과 시퀀스 모델링을 적용하기 위해.
• 공통적인 대화 실패 유형을 수정하기 위해 고성능 교육 예시를 소수 추가하여 모델을 반복적으로 개선하기 위해.
• 실제 세계의 대화 전사본을 대상으로 인간 평가를 통해 작업 완료 품질을 평가하기 위해.

실험 결과

연구 질문

• RQ1 규칙 기반 대화 플로우에서 시작하여 신경 대화 정책을 효과적으로 부트스트랩할 수 있는가, 동시에 예상되는 동작을 유지할 수 있는가?
• RQ2 대화 작성자가 로그된 대화에 대해 최소한의 타겟된 수정만으로도 신경 대화 관리자의 성능을 얼마나 향상시킬 수 있는가?
• RQ3 HCN 기반 대화 관리자가 이질적 또는 이탈된 사용자 발화를 처리하는 데 있어 규칙 기반 시스템과 비교해 어떤 성능을 보이는가?
• RQ4 단 3~5개의 교육 예시만 추가했을 때 신경 대화 정책의 전체 작업 완료 정확도에 어떤 영향을 미치는가?
• RQ5 기계 학습 교육 인터페이스를 통해 대규모 애너테이션 데이터셋이 필요 없이도 확장 가능하고 유지보수 가능한 대화 시스템 개발이 가능한가?

주요 결과

• HCN 기반 대화 관리자는 91.63%의 대화에서 규칙 기반 시스템과 유사한 성능을 달성하여, 규칙 기반 플로우로부터의 성공적인 부트스트랩을 입증했다.
• 4.53%의 경우에서 HCN 기반 모델이 규칙 기반 시스템을 초월했으며, 특히 모호하거나 이탈된 사용자 입력을 처리하는 데서 유리했다.
• 기계 학습 교육 인터페이스를 통해 단 3~5개의 교육 예시를 추가한 후, HCN 모델은 13.8%의 대화에서 규칙 기반 시스템을 초월했다.
• 성능 향상은 특히 맥락 전환, 반복, 후속 질문 처리에서 가장 두드러졌으며, 이는 규칙 기반 시스템의 일반적인 실패 유형이었다.
• 인간 평가 결과, 교육 이후 HCN 모델에 대한 네티브 성능 향상이 12.99%로 나타났고, 단지 0.81%의 경우에서 성능이 악화된 것으로 평가되었다.
• 결과적으로, 최소한의 타겟된 인간 간섭을 통해 기계 학습을 활용하면 신경 대화 정책 성능에 상당한 향상이 이뤄질 수 있음을 입증했다.