[논문 리뷰] Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access Track in DSTC9

Seokhwan Kim, Mihail Eric외 5명|arXiv (Cornell University)|2021. 01. 22.

Topic Modeling참고 문헌 11인용 수 9

한 줄 요약

이 논문은 DSTC9에서 고정된 도메인 API를 초월하여 FAQ 및 웹 콘텐츠와 같은 비정형 지식 소스를 통합함으로써 작업 중심 대화 시스템을 확장하는 챌린지 트랙을 소개한다. 이 접근법은 신경망 모델을 미세조정하여 증강된 MultiWOZ 및 샌프란시스코 관광 데이터를 기반으로 세 가지 핵심 과제—지식 탐색 전환 감지, 지식 선택, 지식 기반 응답 생성—을 정의한다. 대규모 사전 훈련된 언어 모델을 조합한 앙상블 방법을 통해 최신 기술 성능을 달성하였으며, 예측되지 않은 도메인과 지식에 대해서도 강력한 일반화 성능을 보였다.

ABSTRACT

Most prior work on task-oriented dialogue systems are restricted to a limited coverage of domain APIs, while users oftentimes have domain related requests that are not covered by the APIs. This challenge track aims to expand the coverage of task-oriented dialogue systems by incorporating external unstructured knowledge sources. We define three tasks: knowledge-seeking turn detection, knowledge selection, and knowledge-grounded response generation. We introduce the data sets and the neural baseline models for three tasks. The challenge track received a total of 105 entries from 24 participating teams. In the evaluation results, the ensemble methods with different large-scale pretrained language models achieved high performances with improved knowledge selection capability and better generalization into unseen data.

연구 동기 및 목표

• 사전에 정의된 API 또는 데이터베이스 범위를 초월하는 사용자 질의를 처리할 수 없는 작업 중심 대화 시스템의 한계를 해결하기 위해.
• FAQ, 웹 페이지, 고객 리뷰와 같은 비정형 외부 지식 소스를 액세스하고 활용하여 보다 종합적인 응답을 가능하게 하기 위해.
• 사용자 질의가 외부 지식이 필요한지 감지하고, 관련 지식 스니펫을 선택하며, 선택된 지식에 기반한 맥락에 부합하는 응답을 생성하는 종단간 프레임워크를 개발하기 위해.
• 실제 운영 환경 시나리오를 시뮬레이션하기 위해 예측되지 않은 도메인, 지역, 지식 소스에서 모델의 일반화 능력을 평가하기 위해.
• 새로운 데이터셋과 평가 프로토콜을 통해 지식 기반 작업 중심 대화의 벤치마크를 설정하기 위해.

제안 방법

• 세 가지 과제로 구성된 파이프라인을 제안한다: (1) 지식 탐색 전환 감지(외부 지식이 필요한지 여부를 판단하는 이진 분류), (2) 지식 선택(현재 발화에 대해 후보 스니펫의 관련성을 순위 매김), (3) 지식 기반 응답 생성(선택된 지식에 기반한 자연스럽고 맥락에 부합하는 응답 생성).
• 시스템의 입력으로 대화 맥락 윈도우 $U_t = ext{utterances}_{t-w+1}^t$ 와 지식 스니펫 집합 $K = ext{snippets}_1^n$ 을 사용한다.
• 각 과제에 대해 신경망 모델을 활용한다: 전환 감지에는 이진 분류, 지식 선택에는 이진 관련성 점수 평가, 응답 생성에는 시퀀스 생성.
• FAQ 웹페이지에서 유도된 22,834개의 새로운 지식 탐색 발화 쌍을 포함한 증강된 MultiWOZ 2.1 버전과, 예측되지 않은 도메인과 지식을 가진 샌프란시스코 관광 대화 테스트 세트를 개발한다.
• 모델 성능 향상을 위해 여러 대규모 사전 훈련된 언어 모델(BERT, RoBERTa, T5 등)을 조합한 앙상블 방법을 적용한다.
• 자동 평가 지표(BLEU, F1, Recall@1)와 인간 평가를 병행하여 정확성과 적절성을 평가하며, 통계적 유의성 검증을 실시한다.

실험 결과

연구 질문

• RQ1 작업 중심 대화 시스템은 제공된 API 또는 데이터베이스 외부의 지식이 필요한 사용자 질의를 효과적으로 감지할 수 있는가?
• RQ2 대화 전환에 대응하여 대규모 비정형 텍스트 풀에서 가장 관련성이 높은 지식 스니펫을 선택할 수 있는가?
• RQ3 지식 기반 응답 생성은 선택된 지식을 기반으로 유창하고 정확하며 맥락에 부합하는 응답을 얼마나 잘 생성할 수 있는가?
• RQ4 대규모 사전 훈련된 언어 모델을 조합한 앙상블 방법은 지식 보강 대화 시스템에서 성능 향상과 일반화 능력을 얼마나 향상시키는가?
• RQ5 지식 선택 성능이 예측되지 않은 도메인과 지식 소스에서 종단간 대화 품질에 미치는 상대적 영향은 어떠한가?

주요 결과

• 여러 대규모 사전 훈련된 언어 모델을 조합한 앙상블 방법이 세 과제 전반에서 최고의 점수를 기록하였으며, 개별 모델보다 뛰어난 성능을 보였다.
• 지식 선택 과제는 인간 평가 순위와 가장 강한 상관관계(Spearman’s ρ = 0.8601)를 보였으며, 종단간 성능에서 가장 핵심적인 요소임을 시사했다.
• 팀 19가 정확성과 적절성에서 가장 높은 인간 평가 점수를 기록하여 주로 뛰어난 지식 선택 성능 덕분이었다.
• 상위 성능 시스템은 베이스라인에 비해 예측되지 않은 데이터(예: 샌프란시스코 관광 도메인)에 대해 유의미하게 더 우수한 일반화 능력을 보였으며, 도메인 내 테스트 세트보다 높은 인간 평가 점수를 기록했다.
• 인간 쌍대 비교 평가에서 팀 19의 시스템은 팀 3과 유사한 적절성 점수를 기록했지만, 더 정확한 응답을 생성했다.
• 베이스라인 모델은 예측되지 않은 데이터에서 성능 저하가 심각하게 발생하여, 실세계 구현에서 일반화 능력의 중요성을 확인시켰다.