[논문 리뷰] MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers

Krishna Pillutla, Swabha Swayamdipta외 5명|arXiv (Cornell University)|2021. 02. 02.

Topic Modeling인용 수 91

한 줄 요약

MAUVE는 양자화된 임베딩 공간에서 모델과 인간 텍스트 분포를 비교하여 신경망 텍스트 분포가 인간 텍스트에 얼마나 근접한지를 정량화하는 발산-프런티어(divergence-frontier) 기반 메트릭을 도입한다.

ABSTRACT

As major progress is made in open-ended text generation, measuring how close machine-generated text is to human language remains a critical open problem. We introduce MAUVE, a comparison measure for open-ended text generation, which directly compares the learnt distribution from a text generation model to the distribution of human-written text using divergence frontiers. MAUVE scales up to modern text generation models by computing information divergences in a quantized embedding space. Through an extensive empirical study on three open-ended generation tasks, we find that MAUVE identifies known properties of generated text, scales naturally with model size, and correlates with human judgments, with fewer restrictions than existing distributional evaluation metrics.

연구 동기 및 목표

• 기계의 열화된 출력과 인간 텍스트의 제한된 커버리지를 모두 고려하는 원칙적이고 확장 가능한 개방형 텍스트 생성 측정치를 고안한다.
• 발산 프런티어를 활용하여 소프트 타입 I 및 타입 II 오류를 사용해 모델과 인간 분포 간의 차이를 형식화한다.
• 저차원 공간에서 KL 발산을 계산하기 위해 텍스트 분포를 임베딩하고 양자화하여 효율적인 추정 프레임워크를 제공합니다.
• Mauve가 인간 판단과 상관관계가 있으며 임베딩/양자화 선택에 대해 강건함을 입증한다.

제안 방법

• Rλ = λP + (1−λ)Q 이고 λ ∈ (0,1)일 때 C(P,Q)를 (KL(P|Rλ), KL(Q|Rλ))의 쌍들의 집합으로 정의한다.
• 미지의 분포 P와 Q를 인간 텍스트와 기계 텍스트의 샘플로 근사하고 외부 모델 M을 통해 임베딩하여 R^d의 벡터를 생성한다.
• 임베딩된 샘플을 양자화(예: k-평균)하여 k개의 구간에 대한 이산 분포 ŜP와 ŜQ를 형성한다.
• 발산 곡선 아래 면적 Mauve(P,Q)를 Type I과 Type II 오류 사이의 trade-off를 스칼라로 요약해 계산한다.
• MC 샘플링과 선택된 스케일 상수 c를 사용하여 해석 가능한 Mauve 값을 생성하는 실용 추정 워크플로를 제공한다.
• 임베딩 선택과 양자화 방법에 대한 Mauve의 강건함을 보인다.

실험 결과

연구 질문

• RQ1 노출 λ의 스펙트럼에 걸쳐 평가할 때 신경 텍스트 분포 Q가 인간 텍스트 분포 P에 얼마나 근접하는가?
• RQ2 Mauve가 길이 효과, 디코딩 알고리즘, 모델 크기와 같은 생성 텍스트의 알려진 특성을 식별할 수 있는가?
• RQ3 다른 임베딩 및 양자화 전략에 대해 Mauve가 강건하고 인간 판단과 상관관계가 있는가?
• RQ4 기존 자동 지표보다 Mauve가 인간 품질 판단과 더 충실한 상관관계를 제공하는가?

주요 결과

• Mauve는 지각된 품질에 대해 인간 판단과 높은 상관을 보이며, 대안 지표에 비해 더 인간에 가깝고 합리적인 출력에서 더 높은 값을 나타낸다.
• Mauve는 디코딩 알고리즘 간 예상 품질 관계를 포착하고(greedy < ancestral < nucleus), 적대적/빔 검색 디코딩의 축약성을 탐지한다.
• Mauve는 모델 크기가 커질수록 증가하고 인간 품질 평가와 일치하는 반면, 생성 perplexity와 같은 일부 기존 지표는 그렇지 않다.
• Mauve는 임베딩 선택(GPT-2 Large 대 RoBERTa Large)과 다양한 양자화 전략(k-means, DRMM, lattice)에 대해서도 강건함을 유지한다.
• 이 방법은 기계와 인간 텍스트 간의 분포 차이를 요약하는 개방형 텍스트 생성을 위한 확장 가능하고 도메인-비의존적인 측정치를 제공한다.