[논문 리뷰] Unifying Human and Statistical Evaluation for Natural Language Generation

Tatsunori Hashimoto, Hugh Zhang외 1명|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 38인용 수 41

한 줄 요약

HUSE를 소개하는 통합 평가 프레임워크로 인간 판단과 모델 확률을 결합해 NLG의 품질과 다양성을 함께 평가하고, 요약, 이야기 생성, 대화, 언어 모델링과 같은 과제에서의 트레이드오프를 분석한다.

ABSTRACT

How can we measure whether a natural language generation system produces both high quality and diverse outputs? Human evaluation captures quality but not diversity, as it does not catch models that simply plagiarize from the training set. On the other hand, statistical evaluation (i.e., perplexity) captures diversity but not quality, as models that occasionally emit low quality samples would be insufficiently penalized. In this paper, we propose a unified framework which evaluates both diversity and quality, based on the optimal error rate of predicting whether a sentence is human- or machine-generated. We demonstrate that this error rate can be efficiently estimated by combining human and statistical evaluation, using an evaluation metric which we call HUSE. On summarization and chit-chat dialogue, we show that (i) HUSE detects diversity defects which fool pure human evaluation and that (ii) techniques such as annealing for improving quality actually decrease HUSE due to decreased diversity.

연구 동기 및 목표

• 인간 평가나 perplexity에만 의존하지 않고 NLG에서 품질과 다양성 모두를 평가해야 할 필요성을 제시한다.
• 모델 분포와 참조 분포 간의 최적 판별기가 하나의 통합 평가 지표를 결정하는 이론적으로 근거 있는 프레임워크를 제안한다.
• 인간 판단과 모델 확률을 결합하여 이 지표를 실제로 추정하는 방법(HUSE)을 보여준다.
• HUSE를 품질(HUSE-Q)과 다양성(HUSE-D) 구성요소로 분해하여 트레이드오프를 분석한다.
• 언어 모델링, 스토리텔링, 친근한 대화, 요약 과제에서 HUSE를 실증적으로 검증하고, 어닐링(annealing) 및 기타 생성 기법을 검토한다.

제안 방법

• L*를 참조 분포와 모델 분포 간의 최소 판별 오차의 두 배로 정의하고 이를 총변이 거리와 연결한다.
• 최적의 2차원 충분통계가 (p_ref(y|x), p_model(y|x))임을 보이고 이를 사용해 최적 판별기를 특징지운다.
• phi_huse(x,y) = [log p_model(y|x)/len(y), HJ(x,y)], 여기서 HJ는 p_ref(y|x)에 대한 크라우드워커 유래의 전형성(typicality) 추정치이다.
• 참조와 모델에서 뽑은 샘플에 대해 16-NN 분류기를 사용해 판별자 오차를 추정하고 L(phi_huse)의 실용적 계산을 가능하게 한다.
• HUSE를 HUSE-Q(인간 판단 기반)와 HUSE-D(다양성 구성요소)로 분해하고 이들의 상호작용을 분석한다.

실험 결과

연구 질문

• RQ1 How can we jointly quantify quality and diversity in NLG beyond traditional evaluation metrics?
• RQ2 Can we approximate the optimal discriminator’s error using a two-dimensional statistic involving model probabilities and crowd-sourced typicality judgments?
• RQ3 Do standard quality-improving techniques (e.g., temperature annealing) hurt diversity, and vice versa?
• RQ4 How do HUSE, HUSE-Q, and HUSE-D behave across tasks with varying entropy (language modeling, dialogue, summarization, storytelling)?
• RQ5 What insights about model failures (quality vs. diversity) can HUSE reveal that human evaluation alone cannot?

주요 결과

• HUSE detects diversity defects that human evaluation alone can miss.
• Annealing to improve sample quality can decrease HUSE by reducing diversity, revealing tradeoffs between quality and diversity.
• HUSE provides a two-dimensional assessment that can distinguish between quality and diversity issues across tasks such as summarization, story generation, dialogue, and language modeling.
• Human judgments (HJ) correlate strongly with reference distribution likelihood, enabling practical estimation of the reference probability.
• The framework yields interpretable diagnostics and visualizations of model failure modes (quality vs. diversity) at the sample level.