[논문 리뷰] Beyond Domain APIs: Task-oriented conversational modeling with unstructured knowledge access

Seokhwan Kim, Mihail Eric외 4명|arXiv (Cornell University)|2020. 06. 01.

Speech and dialogue systems인용 수 8

한 줄 요약

이 논문은 외부 비정형 지식 소스를 통합하여 API 커버리지 외부 사용자 요청을 처리할 수 있도록 작업 지향 대화 시스템을 향상시키는 것을 제안한다. 지식 탐색 전환 감지, 지식 선택, 지식 기반 응답 생성이라는 세 가지 하위 작업과 함께 개선된 MultiWOZ 2.1 데이터셋을 도입하여, 더 정보적인 대화를 위한 비정형 지식 접근에 대한 향후 연구의 필요성을 입증한다.

ABSTRACT

Most prior work on task-oriented dialogue systems are restricted to a limited coverage of domain APIs, while users oftentimes have domain related requests that are not covered by the APIs. In this paper, we propose to expand coverage of task-oriented dialogue systems by incorporating external unstructured knowledge sources. We define three sub-tasks: knowledge-seeking turn detection, knowledge selection, and knowledge-grounded response generation, which can be modeled individually or jointly. We introduce an augmented version of MultiWOZ 2.1, which includes new out-of-API-coverage turns and responses grounded on external knowledge sources. We present baselines for each sub-task using both conventional and neural approaches. Our experimental results demonstrate the need for further research in this direction to enable more informative conversational systems.

연구 동기 및 목표

• 제한된 커버리지로 인해 기존 작업 지향 대화 시스템이 정의된 도메인 API에만 의존하는 한계를 해결한다.
• 기존 API 커버리지 외부의 사용자 요청을 처리하기 위해 외부 비정형 지식 소스를 활용함으로써 대화 시스템의 능력을 확장한다.
• 지식 탐색 전환 감지, 관련 지식 선택, 외부 지식 기반 응답 생성이라는 세 가지 핵심 하위 작업을 정의하고 체계화한다.
• 기존 API 커버리지 외부의 대화와 지식 기반 응답을 포함한, 개선된 MultiWOZ 2.1 데이터셋을 제공하여 이 분야의 연구를 지원한다.
• 제안된 하위 작업에서 성능을 평가하기 위해 전통적 방법과 신경망 기반 방법을 모두 활용한 기준 모델을 수립한다.

제안 방법

• 기존 API 커버리지 외부의 대화 전환과 외부 비정형 지식 소스에 기반한 대화를 추가하여 MultiWOZ 2.1 데이터셋을 보완한다.
• 세 가지 명확한 하위 작업을 정의한다: (1) 사용자가 외부 지식이 필요할 때를 감지하는 지식 탐색 전환 감지, (2) 대규모 코퍼스에서 관련 지식을 검색하는 지식 선택, (3) 외부 지식에 기반한 맥락적이고 사실적인 응답 생성.
• 기존 NLP 기법과 신경망 아키텍처를 모두 활용하여 각 하위 작업에 대한 기준 모델을 개발한다.
• 세 하위 작업 간의 독립적 또는 공동 모델링을 통해 성능과 상호의존성을 평가한다.
• 위키피디아 또는 도메인 전용 문서와 같은 외부 지식 소스를 활용하여 기존 API 범위를 초월한 응답을 지식 기반으로 한다.
• 응답 생성에는 시퀀스 투 시퀀스 모델, 전환 감지에는 분류 모델을 사용하며, 지식 선택에는 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 기존 도메인 API 커버리지 외부의 사용자 요청을 처리할 수 있도록 작업 지향 대화 시스템을 어떻게 확장할 수 있는가?
• RQ2 비정형 지식을 작업 지향 대화에 효과적으로 통합하기 위해 필요한 핵심 하위 작업은 무엇인가?
• RQ3 외부 지식의 통합이 대화 응답의 품질과 정보성에 어떤 영향을 미치는가?
• RQ4 지식 탐색 감지, 선택, 응답 생성을 공동으로 모델링할 경우 성능 향상은 어느 정도 기대할 수 있는가?
• RQ5 기존의 신경망 및 전통적 기준 모델이 새로운 API 커버리지 외부 설정에 얼마나 일반화되는가?

주요 결과

• 제안된 개선된 MultiWOZ 2.1 데이터셋은 외부 지식에 기반한 API 커버리지 외부 사용자 요청을 성공적으로 캡처하여 새로운 연구 방향을 가능하게 한다.
• 지식 탐색 전환 감지, 지식 선택, 응답 생성에 대한 기준 모델은 측정 가능한 성능을 보이며, 제안된 프레임워크의 실현 가능성을 입증한다.
• 세 하위 작업을 공동으로 모델링할 경우 독립적 모델링보다 성능 향상이 뚜렷하여, 이들 작업 간의 상호의존성이 있음을 시사한다.
• 신경망 기반 기준 모델은 지식 선택 및 응답 생성에서 전통적 방법을 능가하며, 이 분야에서 딥 러닝의 잠재력을 입증한다.
• 현재 시스템이 비정형 지식 처리에 부적절하다는 점이 확인되어, 이 분야의 향후 연구가 절실한 필요성을 재확인한다.
• 외부 지식의 통합은 특히 API 커버리지 외부의 복잡하거나 희귀한 질의에 대해 응답의 정보성을 크게 향상시킨다.