[논문 리뷰] Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Survey

Jinjie Ni, Tom Young외 3명|arXiv (Cornell University)|2021. 05. 10.

Topic Modeling인용 수 36

한 줄 요약

딥 러닝 기반 대화 시스템에 대한 포괄적 설문조사로, 유형별 모델과 시스템 범주를 분석하고 평가 방법과 데이터셋을 다루며 향후 트렌드에 대한 통찰을 제공합니다.

ABSTRACT

Dialogue systems are a popular natural language processing (NLP) task as it is promising in real-life applications. It is also a complicated task since many NLP tasks deserving study are involved. As a result, a multitude of novel works on this task are carried out, and most of them are deep learning based due to the outstanding performance. In this survey, we mainly focus on the deep learning based dialogue systems. We comprehensively review state-of-the-art research outcomes in dialogue systems and analyze them from two angles: model type and system type. Specifically, from the angle of model type, we discuss the principles, characteristics, and applications of different models that are widely used in dialogue systems. This will help researchers acquaint these models and see how they are applied in state-of-the-art frameworks, which is rather helpful when designing a new dialogue system. From the angle of system type, we discuss task-oriented and open-domain dialogue systems as two streams of research, providing insight into the hot topics related. Furthermore, we comprehensively review the evaluation methods and datasets for dialogue systems to pave the way for future research. Finally, some possible research trends are identified based on the recent research outcomes. To the best of our knowledge, this survey is the most comprehensive and up-to-date one at present for deep learning based dialogue systems, extensively covering the popular techniques. We speculate that this work is a good starting point for academics who are new to the dialogue systems or those who want to quickly grasp up-to-date techniques in this area.

연구 동기 및 목표

• 대화 시스템에서 최첨단 딥 러닝 접근법을 검토한다.
• 모델 유형 및 시스템 유형 관점에서 대화 모델을 분석한다.
• 대화 시스템 연구에서 사용된 평가 방법과 데이터셋을 조사한다.
• 해당 분야의 떠오르는 연구 동향과 잠재적 방향을 식별한다.

제안 방법

• 신경 아키텍처를 조사했다(CNNs, RNNs, seq2seq, HRED, memory networks, attention, Transformer, GANs, KG-augmented nets).
• 전통적인 태스크 지향 대화 시스템과 엔드투엔드 대화 시스템 및 오픈 도메인 대화 시스템을 논의했다.
• 대화 시스템에 대한 평가 지표와 데이터셋을 검토했다.
• 관련 대화 작업과 교차 도메인 연결을 통합하여 현재 방법을 맥락화했다.
• 도메인 적응, 효율성 향상, 제어 가능한 생성, 멀티모달 대화 연구와 같은 핫 토픽과 잠재적 미래 방향을 식별했다.

Figure 1 : The overall diagram of this article

실험 결과

연구 질문

• RQ1 태스크 지향 및 오픈 도메인 대화 시스템에서 현재 지배적인 딥 러닝 모델은 무엇인가?
• RQ2 태스크 지향 및 오픈 도메인 대화 시스템은 엔드투엔드 대 모듈식 파이프라인을 포함하여 어떻게 아키텍처화되고 최적화되는가?
• RQ3 대화 시스템을 평가하는 데 사용되는 평가 방법과 데이터셋은 무엇이며, 그 한계는 무엇인가?
• RQ4 최근 문헌이 제시하는 딥 러닝 기반 대화 시스템의 동향과 향후 방향은 무엇인가?

주요 결과

• 본 설문조사는 대화 시스템에서 널리 사용되는 신경 아키텍처와 그것의 응용을 포괄적으로 다룬다.
• 태스크 지향 및 오픈 도메인 대화 시스템 패러다임과 엔드투엔드 설계로의 진화를 분석한다.
• 메모리 네트워크, 계층적 모델, 지식 기반 접근법이 외부 정보를 도입하는 핵심 기법으로 강조된다.
• 대화 시스템의 평가 방법과 데이터셋 생태계를 요약하여 향후 벤치마킹을 안내한다.
• 저자들은 도메인 적응, 효율성 향상, 제어 가능한 생성, 멀티모달 대화 연구와 같은 떠오르는 트렌드를 식별한다.

Figure 2 : A CNN architecture for text classification (Zhang and Wallace, 2017 )