[논문 리뷰] Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation

Albert Gatt, Emiel Krahmer|arXiv (Cornell University)|2017. 03. 29.

Topic Modeling참고 문헌 89인용 수 10

한 줄 요약

이 종합적 서베이는 자연어 생성(NLG) 분야의 최신 기술 동향을 종합적으로 정리하며, 콘텐츠 결정, 텍스트 구조화, 어휘화 등 핵심 과제들과 신경망 인코더-디코더 모델 및 강화 학습과 같은 현대적 아키텍처를 다룹니다. 데이터 기반 텍스트 생성, 창의적 텍스트, 정서적 언어 등 응용 분야를 강조하며 평가 방법에 대한 비판적 분석을 제공하며, 내재적 평가와 외재적 평가 간 격차와 표준화되고 인간 중심인 평가 프레임워크의 필요성을 강조합니다.

ABSTRACT

This paper surveys the current state of the art in Natural Language Generation (NLG), defined as the task of generating text or speech from non-linguistic input. A survey of NLG is timely in view of the changes that the field has undergone over the past decade or so, especially in relation to new (usually data-driven) methods, as well as new applications of NLG technology. This survey therefore aims to (a) give an up-to-date synthesis of research on the core tasks in NLG and the architectures adopted in which such tasks are organised; (b) highlight a number of relatively recent research topics that have arisen partly as a result of growing synergies between NLG and other areas of artificial intelligence; (c) draw attention to the challenges in NLG evaluation, relating them to similar challenges faced in other areas of Natural Language Processing, with an emphasis on different evaluation methods and the relationships between them.

연구 동기 및 목표

• 현대 시스템에서의 핵심 NLG 과제와 그 아키텍처 구현 방식에 대한 현재 시점에서의 종합적이고 포괄적인 종합을 제공하기 위해.
• 특히 시각-언어 통합 및 신경 생성과 같은 분야 간 상호작용에 의해 이끌리는 신규 연구 트렌드를 식별하기 위해.
• NLG의 평가 방법론을 비판적으로 검토하며, 내재적(예: 인간 평가, 지표)과 외재적(예: 작업 기반) 접근 방식을 비교하기 위해.
• 자동 평가 지표가 인간의 유창성, 통일성, 적절성에 대한 평가와 얼마나 잘 일치하는지에 대한 지속적인 과제를 해결하기 위해.
• 스타일 제어, 정서적 생성, NLG의 실세계 응용 통합 등 열린 문제들을 규명함으로써 향후 연구를 이끌기 위해.

제안 방법

• NLG를 콘텐츠 결정, 텍스트 구조화, 문장 집약, 어휘화, 참조 표현 생성의 다섯 가지 핵심 과제로系적으로 분류합니다.
• 伝통적인 모듈러 및 계획 기반 아키텍처를 검토하며, 통계 모델, 시퀀스-투-시퀀스 모델, 조건부 언어 모델 등의 데이터 기반 접근 방식과 대비합니다.
• 신경망 기반 NLG 아키텍처를 분석하며, 인코더-디코더 프레임워크와 트랜스포머 기반 모델의 역할을 강조하며 종단간 생성에서의 기여를 중시합니다.
• 시각-언어 인터페이스를 분석하며, 이미지 캡션 생성 및 시각적 입력에서의 기반 텍스트 생성에 초점을 맞춥니다.
• 스타일 및 정서적 생성을 탐색하며, 성격 모델링, 예의 바르기, 은유 생성을 룰 기반 및 신경망 방법을 통해 다룹니다.
• NLG 시스템을 내재적 방법(인간 평가, 자동 지표)과 외재적 방법(대화, 요약 등에서의 작업 성능)의 이중적 관점에서 평가하며, 통제된 실험과 지표 및 인간 평가 간의 일치를 주장합니다.

실험 결과

연구 질문

• RQ1 최근 데이터 기반 방법은 기존의 규칙 기반 또는 템플릿 기반 접근 방식과 비교해 NLG 시스템의 아키텍처와 성능에 어떤 영향을 미쳤는가?
• RQ2 신경망 시퀀스 모델은 저널리즘, 교육, 대화 등 다양한 도메인에서 어떻게 자연스럽고 통일성 있고 맥락에 부합하는 텍스트를 생성할 수 있는가?
• RQ3 NLG 시스템 평가의 주요 과제는 무엇이며, 내재적 평가와 외재적 평가 방법은 인간과 유사한 품질을 얼마나 잘 측정하는가?
• RQ4 NLG 시스템은 특정 스타일, 성격 또는 정서적 어조를 효과적으로 생성할 수 있으며, 현재의 신경망 접근 방식의 한계는 무엇인가?
• RQ5 외부 데이터(예: 시각적 입력, 지식 기반)에 기반한 지문화가 NLG 발전에 어떤 역할을 하는가? 그리고 이는 현대 생성 파이프라인에 어떻게 통합되는가?

주요 결과

• 특히 인코더-디코더 및 조건부 언어 모델을 포함한 신경망 시퀀스 모델은 현대 NLG에서 지배적인 위치를 차지하며, 더 나은 자연스러움과 통일성을 확보한 종단간 생성을 가능하게 합니다.
• 평가가 여전히 주요 약점입니다: BLEU나 ROUGE와 같은 자동 지표는 특히 통일성과 스타일에 대해 인간 평가와 상관관계가 낮은 편입니다.
• 외재적 평가—대화나 요약과 같은 후행 작업에서의 성능 측정—는 내재적 지표만으로는 제공할 수 없는 유용성에 대한 더 강력한 증거를 제공합니다.
• 스타일 및 정서적 제어는 여전히 개발이 부족합니다: 예의 바르거나 비공식적인 언어 생성에 일부 진전이 있었지만, 성격과 정서에 대한 강력한 제어는 여전히 도전 과제입니다.
• 시각과 언어의 통합은 크게 발전하였으며, 이제 이미지 캡션 생성 시스템은 시각-세미틱 임베딩을 사용해 기술적으로 관련성이 높은 설명문을 생성할 수 있습니다.
• 진전이 있었음에도 불구하고, 자연어 품질의 다면적 성격을 완전히 캡처하는 데는 단일 평가 방법이 부족하며, 다중 방법 및 인간 참여 평가 전략이 필수적입니다.