[논문 리뷰] Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems

Derek Chen, Howard Chen외 3명|arXiv (Cornell University)|2021. 04. 01.

Topic Modeling참고 문헌 36인용 수 6

한 줄 요약

이 논문은 정책 제약이 있는 다단계 행동을 수반하는 55개의 사용자 의도를 수반하는 10,042건의 인간 간 대화로 구성된 대규모 완전 레이블링 코퍼스인 Action-Based Conversations Dataset(ABCD)를 소개한다. 본 논문은 Action State Tracking 및 Cascading Dialogue Success라는 두 가지 새로운 과제를 제안하고, 사전 훈련된 언어 모델을 사용하여 베이스라인을 수립하였으며, 대화 성공 과제에서 최상위 모델(31.9%)과 인간 성능(82.7%) 사이에 50.8%의 정확도 격차가 있음을 보여주었다.

ABSTRACT

Existing goal-oriented dialogue datasets focus mainly on identifying slots and values. However, customer support interactions in reality often involve agents following multi-step procedures derived from explicitly-defined company policies as well. To study customer service dialogue systems in more realistic settings, we introduce the Action-Based Conversations Dataset (ABCD), a fully-labeled dataset with over 10K human-to-human dialogues containing 55 distinct user intents requiring unique sequences of actions constrained by policies to achieve task success. We propose two additional dialog tasks, Action State Tracking and Cascading Dialogue Success, and establish a series of baselines involving large-scale, pre-trained language models on this dataset. Empirical results demonstrate that while more sophisticated networks outperform simpler models, a considerable gap (50.8% absolute accuracy) still exists to reach human-level performance on ABCD.

연구 동기 및 목표

• 실제 고객 서비스 워크플로우를 반영하는 현실적이고 정책 제약이 있는 임무 지향 대화 데이터셋의 부족을 해결하기 위해.
• 사용자 요청과 조직 정책을 균형 있게 반영하는 대화 시스템을 모델링하기 위해, 순차적이고 절차적인 행동이 필요로 하는 시스템을 개발하기 위해.
• 비대칭 역할(훈련된 에이전트와 훈련되지 않은 사용자) 간의 자연스러운 대화를 캐스터블하게 수집하는 방법을 개발하기 위해.
• Action State Tracking 및 Cascading Dialogue Success라는 두 가지 새로운 평가 과제를 제안하고 평가하기 위해.
• 사전 훈련된 언어 모델을 사용하여 강력한 베이스라인을 수립하고, 성능 향상에 기여하는 핵심 제약 조건(예: 행동 이력, 가이드라인)을 규명하기 위해.

제안 방법

• 훈련된 에이전트와 훈련되지 않은 사용자 간의 진정성 있는 인간 간 대화를 확보하기 위해 전문가 라이브 채팅 시스템을 개발하여 역할 비대칭성을 확보하였다.
• 55개의 고유한 사용자 의도, 55개의 고유한 행동 시퀀스, 정책 제약 조건을 정의하는 명시적 에이전트 가이드라인을 포함하여 10,042건의 대화를 레이블링하였다.
• 기존 대화 상태 추적을 확장하여, 대화 이력과 가이드라인을 바탕으로 올바른 행동 상태를 추론하는 Action State Tracking(ASP)을 제안하였다.
• 대화 이력과 정책에 조건화된 각 턴에서 올바른 행동 또는 응답을 선택해야 하는 다단계 과제로, Cascading Dialogue Success(CDS)를 도입하였다.
• BERT, RoBERTa, AlBERT와 같은 여러 사전 훈련된 언어 모델을 AST 및 CDS에 대해 훈련하고 평가하였으며, 의도, 가이드라인, 행동 이력 등의 입력 구성 요소에 대한 분석 실험을 수행하였다.
• 오라클 분석을 통해 의도 분류, 가이드라인 지식, 행동 맥락의 영향을 고립하여 모델 성능에 미치는 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 기업 정책과 사용자 요청에 제약을 받는 상황에서 사전 훈련된 언어 모델이 행동 상태를 효과적으로 추적할 수 있는가?
• RQ2 에이전트 가이드라인과 대화 이력을 조건으로 삼을 경우, 정책 제약이 있는 대화 시스템에서 성능에 어떤 영향을 미치는가?
• RQ3 복잡한 다단계 임무 지향 대화에서 최신 기술 모델과 인간 수준의 성능 사이의 격차는 얼마인가?
• RQ4 의도, 가이드라인, 행동 이력과 같은 다양한 입력 구성 요소가 다중 턴 대화 과제에서 성공에 기여하는 정도는 어떠한가?
• RQ5 부정확한 정책 지식을 사용할 경우 발생하는 주요 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 최고 성능을 보인 모델(RoBERTa-large)은 Cascading Dialogue Success 과제에서 31.9%의 정확도를 기록하였으며, 인간 평가 수준의 82.7%에 크게 못 미쳤다.
• 최상위 모델과 인간 수준의 성능 사이에 50.8%의 절대 정확도 격차가 존재하여 향후 개선 여지가 크다는 것을 시사한다.
• 행동 이력을 컨텍스트에서 제거하면 성능에 심각한 하락이 발생하여, 정책 제약이 있는 대화에서 순차적 모델링의 중요성을 확인하였다.
• 정답 의도 정보를 제공하면 성능이 32.3%로 향상되었지만, 잘못된 가이드라인 지식을 추가하면 잘못된 행동 마스킹으로 인해 성능이 30.6%로 떨어졌다.
• 오라클 의도 및 가이드라인 정보를 모두 사용한 최적의 구성에서 32.7%의 정확도를 기록하여 정책 인식 모델링의 강력한 필요성을 강조하였다.
• 대화 이력과 에이전트 가이드라인을 모두 조건으로 삼을 경우 성능 향상이著명하였으며, 최고의 모델들은 이 두 가지 컨텍스트 소스에 의존하고 있었다.