[논문 리뷰] MAUVE: Human-Machine Divergence Curves for Evaluating Open-Ended Text Generation.

Krishna Pillutla, Swabha Swayamdipta외 4명|arXiv (Cornell University)|2021. 02. 02.

Topic Modeling참고 문헌 17인용 수 2

한 줄 요약

MAUVE는 기계 생성 텍스트와 인간이 작성한 텍스트 분포 간의 분산을 측정함으로써 개방형 텍스트 생성을 평가하기 위한 새로운 지표이다. 이는 분산 곡선의 평균 면적을 측정하여 기계 생성 텍스트와 인간 텍스트 간의 분산 정도를 수치화한다. 이는 이전의 지표들보다 더 원칙적인 평가를 제공하며, 커버리지와 품질 간의 상호보완적 관계를 반영하여 인간의 판단과 모델 크기 추세에 더 부합한다.

ABSTRACT

Despite major advances in open-ended text generation, there has been limited progress in designing evaluation metrics for this task. We propose MAUVE -- a metric for open-ended text generation, which directly compares the distribution of machine-generated text to that of human language. MAUVE measures the mean area under the divergence curve for the two distributions, exploring the trade-off between two types of errors: those arising from parts of the human distribution that the model distribution approximates well, and those it does not. We present experiments across two open-ended generation tasks in the web text domain and the story domain, and a variety of decoding algorithms and model sizes. Our results show that evaluation under MAUVE indeed reflects the more natural behavior with respect to model size, compared to prior metrics. MAUVE's ordering of the decoding algorithms also agrees with that of generation perplexity, the most widely used metric in open-ended text generation; however, MAUVE presents a more principled evaluation metric for the task as it considers both model and human text.

연구 동기 및 목표

• 개방형 텍스트 생성을 위한 원칙적인 평가 지표의 부족을 해결하기 위해.
• 기계 생성 텍스트 분포를 인간 언어 분포와 직접 비교할 수 있는 지표를 개발하기 위해.
• 모델이 인간의 다양성을 얼마나 잘 포괄하는지(커버리지)와 낮은 품질의 출력을 피하는지(품질) 간의 상호보완적 관계를 포착하기 위해.
• 다양한 크기와 디코딩 전략에서 자연스러운 모델 행동을 반영하는 지표를 제공하기 위해.
• 기존의 퍼즐리티 및 기타 지표보다 더 신뢰할 수 있는 대안을 제공하기 위해, 개방형 생성 작업에서의 평가를 향상시키기 위해.

제안 방법

• MAUVE는 기계 생성 텍스트 분포와 인간 기준 텍스트 분포 간의 분산 곡선의 평균 면적을 계산한다.
• 이 지표는 모델가 잘 근사하는 인간 분포의 부분과 잘 근사하지 못하는 부분 간의 상호보완적 관계를 평가하는 분산 곡선을 사용한다.
• 학습되거나 추정된 분포 모델을 사용하여 생성된 텍스트와 인간 텍스트의 확률 밀도를 비교함으로써 기반을 둔다.
• 웹 텍스트 및 스토리 생성 작업 모두에 적용되며, 다양한 디코딩 알고리즘과 모델 크기를 사용한다.
• 토큰 수준의 유사성만 고려하는 것이 아니라 전체 분포적 차이를 분석함으로써 커버리지와 품질 요소를 통합한다.
• MAUVE는 다양한 모델 아키텍처와 디코딩 전략에 대해 강건하게 작동하도록 설계되어 실제 세계의 생성 행동을 반영한다.

실험 결과

연구 질문

• RQ1 MAUVE는 기존의 지표들(예: 퍼즐리티)과 비교해 개방형 텍스트 생성을 평가하는 데 어떻게 성능을 보이는가?
• RQ2 모델 크기가 증가함에 따라 MAUVE는 기대되는 모델 성능의 행동을 잘 반영하는가?
• RQ3 MAUVE는 인간의 판단이나 퍼즐리티와 비교해 다양한 디코딩 전략의 순서를 얼마나 잘 반영하는가?
• RQ4 MAUVE는 생성된 텍스트에서 커버리지와 품질 간의 상호보완적 관계를 어느 정도 잘 포착하는가?
• RQ5 MAUVE는 현재의 표준보다 더 원칙적이고 신뢰할 수 있는 평가 지표로 기능할 수 있는가?

주요 결과

• MAUVE는 모델 크기에 따른 성능 순서를 인간의 기대와 더 자연스럽게 반영한다.
• 이 지표의 디코딩 알고리즘 순서는 퍼즐리티의 순서와 일치하여, 널리 사용되는 지표와의 일관성을 입증한다.
• MAUVE는 커버리지와 품질 간의 상호보완적 관계를 모두 포착하여, n-gram 겹침이나 가능성만을 고려하는 지표보다 더 종합적인 평가를 제공한다.
• MAUVE는 특히 다양한 디코딩 전략에 걸쳐 생성 텍스트의 분포 변화에 더 민감하게 반응함을 보였다.
• MAUVE는 유창하지만 반복적인 텍스트를 생성하는 모델과 인간처럼 다양하고 자연스러운 출력을 내는 모델을 효과적으로 구분한다.
• MAUVE는 이전의 지표들보다 인간 언어의 특성을 더 잘 반영하는 원칙적인, 분포 기반 평가를 제공한다.