[논문 리뷰] Neural Language Generation: Formulation, Methods, and Evaluation

Cristina Gârbacea, Qiaozhu Mei|arXiv (Cornell University)|2020. 07. 31.

Topic Modeling참고 문헌 508인용 수 23

한 줄 요약

이 종합적 서베이는 신경어휘생성(NLG)에 대한 포괄적이고 최신의 개요를 제공하며, 일반적, 조건부, 제약 조건이 있는 생성이라는 문제 정의를 공식화하고, RNN, seq2seq, VAE, GAN, 트랜스포머 등의 최신 딥러닝 아키텍처를 검토한다. 본서는 인간 평가와 일치하는 개선된 자동 평가 지표의 필요성을 강조하며, 공정성, 해석 가능성, 기준 텍스트가 없는 평가를 포함한 텍스트 생성 시스템의 평가에 초점을 맞춘다.

ABSTRACT

Recent advances in neural network-based generative modeling have reignited the hopes in having computer systems capable of seamlessly conversing with humans and able to understand natural language. Neural architectures have been employed to generate text excerpts to various degrees of success, in a multitude of contexts and tasks that fulfil various user needs. Notably, high capacity deep learning models trained on large scale datasets demonstrate unparalleled abilities to learn patterns in the data even in the lack of explicit supervision signals, opening up a plethora of new possibilities regarding producing realistic and coherent texts. While the field of natural language generation is evolving rapidly, there are still many open challenges to address. In this survey we formally define and categorize the problem of natural language generation. We review particular application tasks that are instantiations of these general formulations, in which generating natural language is of practical importance. Next we include a comprehensive outline of methods and neural architectures employed for generating diverse texts. Nevertheless, there is no standard way to assess the quality of text produced by these generative models, which constitutes a serious bottleneck towards the progress of the field. To this end, we also review current approaches to evaluating natural language generation systems. We hope this survey will provide an informative overview of formulations, methods, and assessments of neural natural language generation.

연구 동기 및 목표

• 문맥과 제약 조건에 기반하여 신경자연어생성(NLG) 문제를 일반적, 조건부, 제약 조건이 있는 생성으로 공식적으로 정의하고 분류하는 것.
• 최신 텍스트 생성에서 사용되는 딥러닝 방법과 신경아키텍처, 특히 RNN, seq2seq, VAE, GAN, 트랜스포머 기반 모델에 대한 상세한 검토 제공.
• 신경텍스트생성에서 표준화된 평가의 부족 문제를 해결하기 위해 기존의 자동 및 인간 평가 방법을 검토하고, 기준 텍스트가 없는, 작업에 특화된 평가 지표의 필요성을 강조하는 것.
• 일반화, 장기적 맥락 일관성, 소수 샘플 학습, 그리고 편향과 기억 현상과 같은 윤리적 문제와 같은 주요 열린 과제를 식별하는 것.
• 인간 평가를 보완하고 책임감 있는 NLG 시스템 배포를 지원하기 위해 설명 가능하고 공정하며 책임감 있는 평가 프레임워크 개발을 촉구하는 것.

제안 방법

• 체인 규칙을 이용해 토큰 시퀀스에 대한 조건부 또는 무조건부 확률 분포를 학습하는 것으로 텍스트 생성을 공식화한다.
• 텍스트 생성을 세 가지 유형으로 분류한다: (1) 일반적/자유 텍스트 생성, (2) 입력 표현 기반의 조건부 생성, (3) 스타일, 내용, 형식 제약 조건이 있는 제약 조건 생성.
• RNN, LSTM, GRU, 어텐션 메커니즘, 트랜스포머, VAE, GAN, 메모리 증강 네트워크 등의 신경아키텍처를 순차적 생성에 대해 검토한다.
• 저자원 환경에서 제로샷 및 소수 샘플 일반화 성능 향상을 위해 사전학습된 언어 모델과 전이학습 기법을 도입한다.
• 기준 텍스트가 없는 평가 전략을 제안하며, 생성된 텍스트를 기준 텍스트 없이 소스 의미 표현과 비교하여 품질 점수를 예측하는 신경모델을 활용한다.
• 유창성, 일관성, 다양성, 사실적 정확성 등을 종합적으로 평가하기 위해 다수의 자동 평가 지표(예: BLEU, ROUGE, BERTScore)와 인간 평가를 통합하는 것을 강조한다.

실험 결과

연구 질문

• RQ1 문맥, 제약 조건, 입력 조건에 기반하여 신경어휘생성을 어떻게 공식적으로 분류할 수 있는가?
• RQ2 다양하고 일관되며 맥락에 적절한 텍스트를 생성하기 위해 가장 효과적인 신경아키텍처와 학습 패러다임은 무엇인가?
• RQ3 왜 생성된 텍스트의 자동 평가가 여전히 주요 난제이며, BLEU 및 ROUGE와 같은 기존 지표의 한계는 무엇인가?
• RQ4 비용이 많이 드는 인간 레이블 기반 기준 텍스트에 대한 의존도를 줄이기 위해 기준 텍스트가 없는 평가 방법은 어떻게 개선될 수 있는가?
• RQ5 공정성, 해석 가능성, 윤리적 사용을 보장하기 위해 필요한 평가 지표는 무엇인가?

주요 결과

• 특히 트랜스포머와 대규모 사전학습 모델을 포함한 신경순차모델은 다양한 작업에서 자연스럽고 일관성 있는 텍스트 생성 성능을 달성했다.
• 진전이 있었음에도 불구하고, 모델들은 종종 훈련 데이터를 암기하고, 특히 개방형 생성에서 장거리 일관성과 사실 일관성에 어려움을 겪는다.
• 단일 자동 평가 지표가 인간 평가와 완벽하게 상관되지 않기 때문에, BERTScore, ROUGE, 퍼플렉서티 등 여러 지표를 조합하여 강력한 평가를 수행하는 것이 필수적이다.
• 의미 임베딩을 사용해 생성된 텍스트를 소스 입력과 비교하는 기준 텍스트가 없는 평가 방법은 레이블링 비용을 줄이는 데 효과적이며, 기계 번역 및 대화 시스템에서 특히 유용하다.
• 의료나 법적 텍스트 생성과 같은 고위험 응용 분야에서 공정성, 편향, 해석 가능성 평가를 가능하게 하는 평가 지표의 필요성이 점점 커지고 있다.
• 인간 평가는 여전히 금표지만, 자동 평가 지표는 인간 평가와 합리적인 상관관계를 보일 때에만 신중하게 사용되어야 한다.