[논문 리뷰] A Survey of Natural Language Generation Techniques with a Focus on Dialogue Systems - Past, Present and Future Directions

Sashank Santhanam, Samira Shaikh|arXiv (Cornell University)|2019. 06. 02.

Topic Modeling참고 문헌 129인용 수 34

한 줄 요약

논문은 전통적인 접근 방식에서부터 딥 러닝 방법에 이르는 자연어 생성(NLG) 방법들을 조사하고, 오픈 도메인 대화 시스템에 중점을 두며, 세 가지 핵심 미래 방향: 더 큰 맥락, 페르소나, 지루한 응답 회피를 인지 아키텍처 관점에서 제시한다.

ABSTRACT

One of the hardest problems in the area of Natural Language Processing and Artificial Intelligence is automatically generating language that is coherent and understandable to humans. Teaching machines how to converse as humans do falls under the broad umbrella of Natural Language Generation. Recent years have seen unprecedented growth in the number of research articles published on this subject in conferences and journals both by academic and industry researchers. There have also been several workshops organized alongside top-tier NLP conferences dedicated specifically to this problem. All this activity makes it hard to clearly define the state of the field and reason about its future directions. In this work, we provide an overview of this important and thriving area, covering traditional approaches, statistical approaches and also approaches that use deep neural networks. We provide a comprehensive review towards building open domain dialogue systems, an important application of natural language generation. We find that, predominantly, the approaches for building dialogue systems use seq2seq or language models architecture. Notably, we identify three important areas of further research towards building more effective dialogue systems: 1) incorporating larger context, including conversation context and world knowledge; 2) adding personae or personality in the NLG system; and 3) overcoming dull and generic responses that affect the quality of system-produced responses. We provide pointers on how to tackle these open problems through the use of cognitive architectures that mimic human language understanding and generation capabilities.

연구 동기 및 목표

• 전통적 접근 방식에서 딥 러닝 방법까지 자연어 생성(NLG)의 개요를 제공한다.
• NLG의 핵심 응용 분야로서 오픈 도메인 대화 시스템을 분석한다.
• 더 일관되고 맥락 인식이며 개인화된 대화 생성을 위한 연구 격차를 식별하고 향후 방향을 제시한다.
• 대화용 NLG의 현재 한계를 다루기 위해 인지 아키텍처가 어떻게 작용할 수 있는지 논의한다.

제안 방법

• 전통적 NLG 아키텍처와 그 하위 구성요소(콘텐츠 결정, 문서 구성, 어휘화, 지시 표현 생성, 문장 집합화, 언어적 구현)를 검토한다.
• 신경망 모델 이전의 콘텐츠 선택 및 구현에 사용된 통계적 및 규칙 기반 방법을 논의한다.
• 딥 러닝 접근 방식(언어 모델, 인코더–디코더/seq2seq, 어텐션, 메모리 네트워크, 트랜스포머 기반 방법)과 이들이 대화 시스템에 미친 영향을 조사한다.
• 맥락 인코딩의 부족, 일반적인 응답, 페르소나의 부재와 같은 대화 생성의 지속적인 도전을 강조한다.
• 미래 방향의 종합과 인지 아키텍처에 영감을 받은 해결책의 가능성에 대한 시사를 제공한다.

실험 결과

연구 질문

• RQ1 대화 시스템을 위한 자연어 생성의 주요 역사적 및 현대적 접근 방식은 무엇인가?
• RQ2 일관되고 맥락이 풍부하며 개인화된 상호작용을 달성하는 데 방해가 되는 주요 연구 격차는 무엇인가?
• RQ3 향후 NLG 시스템이 더 큰 맥락과 세계 지식을 어떻게 통합하고, 페르소나나 성격을 대화 품질 향상에 어떻게 통합할 수 있을까?
• RQ4 인지 아키텍처가 현재 대화용 NLG의 한계를 해결하는 데 어떤 역할을 할 수 있는가?

주요 결과

• Seq2seq 모델과 언어 모델이 현재의 대화 시스템 접근 방식에서 지배적이다.
• 향후 세 가지 주요 방향이 확인된다: 더 큰 맥락과 세계 지식의 통합, 페르소나 또는 성격의 통합, 지루하고 일반적인 응답의 극복.
• 개선된 맥락 인코딩, 일관된 페르소나 유지, 더 매력적이고 맥락에 맞는 응답 생성을 포함한 개방형 문제들이 남아 있다.
• 기본적인 도전 과제를 해결하기 위해 인간의 언어 이해 및 생성을 모방하는 인지 아키텍처를 탐구하는 것을 제안한다.
• 전통적인 NLG 구성요소(콘텐츠 결정, 구성, 어휘화, REG, 집합화, 실현)은 신경 접근 방식을 이해하고 조직하는 데 여전히 관련성이 있다.