[논문 리뷰] Link the World: Improving Open-domain Conversation with Dynamic Spatiotemporal-aware Knowledge

Han Zhou, Xinchao Xu외 6명|arXiv (Cornell University)|2022. 06. 28.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 실시간 세계 지식을 위한 서비스 API를 능동적으로 쿼리함으로써 개방형 대화에서 일관성, 사실성, 몰입감을 향상시키는 동적이고 시공간적 인식 능력을 갖춘 대화 시스템을 제안한다. 10,000개 이상의 인간-인간 대화와 서비스 요청을 포함하는 DuSinc 데이터셋을 사용하여, 세계 링킹이 없는 기준 모델 대비 세션 수준 성능 향상률이 60.87%에 이르는 성과를 달성한다.

ABSTRACT

Making chatbots world aware in a conversation like a human is a crucial challenge, where the world may contain dynamic knowledge and spatiotemporal state. Several recent advances have tried to link the dialog system to a static knowledge base or search engine, but they do not contain all the world information needed for conversations. In contrast, we propose a new method to improve the dialogue system using spatiotemporal aware dynamic knowledge. We utilize service information as a way for the dialogue system to link the world. The system actively builds a request according to the dialog context and spatiotemporal state to get service information and then generates world aware responses. To implement this method, we collect DuSinc, an open-domain human-human dialogue dataset, where a participant can access the service to get the information needed for dialogue responses. Through automatic and human evaluations, we found that service information significantly improves the consistency, informativeness, factuality, and engagingness of the dialogue system, making it behave more like a human. Compared to the pre-trained models without spatiotemporal aware dynamic knowledge, the overall session-level score was improved by 60.87\%. The collection dataset and methods will be open-sourced.

연구 동기 및 목표

• 사전 훈련된 언어 모델에서의 정적 지식의 한계를 해결하기 위해 실시간 또는 위치 기반 세계 정보에 접근할 수 있도록 하는 것.
• 대화 시스템이 인간처럼 동적이고 시공간적 맥락에 기반한 세계 상태를 인지하고 응답할 수 있도록 하는 것.
• 대화 생성을 위해 시의적이고 간결하며 관련성 있는 정보를 확보하기 위해 서비스 API를 활용하는 일반화 가능한 방법을 개발하는 것.
• 서비스 정보 요청과 응답이 포함된 첫 번째 개방형 중국어 대화 데이터셋인 DuSinc를 구축하고 공개하는 것.
• 개방형 대화에서 동적 서비스 지식을 활용한 질의 생성 및 응답 생성에 대한 벤치마크를 설정하는 것.

제안 방법

• 대화 맥락과 현재 시간/위치에 따라 외부 서비스 정보가 필요한지 동적으로 결정한다.
• 산업용 수준의 서비스 API(예: 날씨, 지도, 주식, 계산기 등)에 접근하기 위한 자연어 질의를 구성한다.
• 확보한 서비스 지식을 활용하여 더 잘 정보화되고 일관적이며 사실 기반인 응답을 생성한다.
• 두 명의 애너테이터가 사용자(USER)와 봇(BOT) 역할을 맡아 대화를 진행한 새로운 데이터셋인 DuSinc를 수집하였다. 이때 봇은 서비스 데이터 요청 시점을 결정해야 한다.
• 벤치마크는 두 가지 과제로 구성된다: (1) 서비스 정보를 확보하기 위한 질의 생성, (2) 확보된 지식을 활용한 응답 생성.
• 여러 사전 훈련된 모델에서 평가하여, 모델 크기와 훈련 방법에 관계없이 일반화 성능을 입증한다.

실험 결과

연구 질문

• RQ1 동적이고 시공간적 인식 능력을 갖춘 서비스 정보는 개방형 대화 시스템의 일관성과 사실성 정확도를 크게 향상시킬 수 있는가?
• RQ2 대화 품질 측면에서, 능동적인 서비스 쿼리가 정적 지식 기반 또는 웹 페이지 검색에 비해 어떻게 비교되는가?
• RQ3 실시간 서비스 지식을 활용할 경우, 대화 시스템은 새로운 주제에 대해 얼마나 잘 일반화할 수 있는가?
• RQ4 동적 서비스 지식 통합 시 모델 크기와 훈련 전략은 성능에 어떤 영향을 미치는가?
• RQ5 서비스 요청이 포함된 인간-인간 대화 데이터셋은 세계 인식 능력을 갖춘 대화 시스템의 훈련 및 평가를 위한 강력한 벤치마크가 될 수 있는가?

주요 결과

• 제안된 방법은 세계 링킹이 없는 기준 모델 대비 동적 세계 링킹이 없는 모델 대비 세션 수준 점수를 60.87% 향상시켰다.
• 인간 평가 결과, 응답의 일관성, 정보성, 사실성, 몰입감이 뚜렷하게 향상됨을 확인했다.
• 서비스 지식의 동적 특성 덕분에 새로운 주제에 대해서도 우수한 일반화 성능을 보였다.
• 간결하고 구조화된 서비스 응답 사용이 자주 발생하는 노이즈가 많은 비구조화된 웹 페이지 검색에 비해 자동화 평가 및 인간 평가 모두에서 성능이 뛰어났다.
• DuSinc 데이터셋은 2,500개 이상의 주제, 약 10,000개의 대화, 50,000개의 서비스 요청을 포함하고 있어, 서비스 증강 상호작용이 포함된 첫 번째 개방형 중국어 대화 데이터셋이다.
• 벤치마크 모델은 동적 서비스 지식을 활용한 질의 생성 및 응답 생성 과제에서 최신 기술 수준의 성능을 달성했다.