[논문 리뷰] Evaluation of Text Generation: A Survey

Aslı Çelikyılmaz, Elizabeth Clark외 1명|arXiv (Cornell University)|2020. 06. 26.

Topic Modeling참고 문헌 295인용 수 194

한 줄 요약

본 논문은 자연어 생성의 평가 방법을 조사하고 이를 인간 중심, 자동(훈련되지 않은), 기계학습 기반 지표로 분류하며, 요약 및 장문 생성의 예시 평가를 통해 도전과제, 과제 및 향후 방향을 논의한다.

ABSTRACT

The paper surveys evaluation methods of natural language generation (NLG) systems that have been developed in the last few years. We group NLG evaluation methods into three categories: (1) human-centric evaluation metrics, (2) automatic metrics that require no training, and (3) machine-learned metrics. For each category, we discuss the progress that has been made and the challenges still being faced, with a focus on the evaluation of recently proposed NLG tasks and neural NLG models. We then present two examples for task-specific NLG evaluations for automatic text summarization and long text generation, and conclude the paper by proposing future research directions.

연구 동기 및 목표

• 신경망 생성 시스템을 특히 염두에 두고 NLG의 강건한 평가 필요성을 고취한다.
• 평가 방법을 세 가지 계로 분류하고 그 진전과 도전 과제를 분석한다.
• 특정 작업에 대한 평가 예시(자동 요약 및 장문 생성)를 논의한다.
• 비교 가능성과 신뢰성을 높이기 위한 NLG 평가의 향후 연구 방향을 제안한다.

제안 방법

• 평가 방법을 인간 중심, 훈련되지 않은 자동 지표, 기계 학습 지표의 세 가지 범주로 분류한다.
• 신경 NLG 시스템의 맥락에서 각 범주의 강점과 한계를 검토한다.
• 유창성, 충분성, 사실성, 일관성 등 일반적인 평가 차원을 강조하고 측정 방법을 설명한다.
• 자동 요약 및 장문 생성의 작업별 예시를 통해 평가 응용을 설명한다.

실험 결과

연구 질문

• RQ1 NLG의 주요 평가 패러다임은 무엇이며 신뢰성, 비용, 확장성 측면에서 어떻게 비교되는가?
• RQ2 신경 NLG 시스템에 대한 인간 중심, 자동, 기계 학습 평가 지표에서 어떤 진전이 있었는가?
• RQ3 최근 NLG 작업과 모델 평가의 도전과제와 향후 방향은 무엇인가?

주요 결과

• 인간 중심 평가가 여전히 황금 표준이지만 비용이 많이 들고 연구 간에 일관성이 떨어진다.
• 훈련되지 않은 자동 지표가 널리 사용되며 n-그램 및 분포적 유사성 등 표면적 유사성에 의존하지만 인간 판단과 잘 일치하지 않을 수 있다.
• 기계 학습 지표는 인간 판단을 모델링할 수 있지만 학습 데이터가 필요하고 편향을 피하기 위한 신중한 보정이 필요하다.
• 이 논문은 자동 요약 및 장문 생성에서 작업별 평가 예시를 제공하여 현재 지표의 실용적 응용과 한계를 설명한다.