[논문 리뷰] Jointly Measuring Diversity and Quality in Text Generation Models

Ehsan Montahaei, Danial Alihosseini외 1명|arXiv (Cornell University)|2019. 04. 08.

Topic Modeling참고 문헌 19인용 수 11

한 줄 요약

이 논문은 품질과 다양성 양측을 동시에 평가할 수 있도록 MS-Jaccard(n-gram 기반) 및 FBD(특징 기반, BERT 기반) 메트릭과 오라클 설정을 위한 분포 기반 발산을 도입함으로써 통합된 프레임워크를 제안한다. 주요 기여는 인간 평가 및 온도 변화 스펙트럼에서의 모델 행동과 강하게 상관관계를 가지는 메트릭 세트를 제공하며, BLEU나 Self-BLEU와 같은 단일 메트릭보다 우수한 성능을 보인다.

ABSTRACT

Text generation is an important Natural Language Processing task with various applications. Although several metrics have already been introduced to evaluate the text generation methods, each of them has its own shortcomings. The most widely used metrics such as BLEU only consider the quality of generated sentences and neglect their diversity. For example, repeatedly generation of only one high quality sentence would result in a high BLEU score. On the other hand, the more recent metric introduced to evaluate the diversity of generated texts known as Self-BLEU ignores the quality of generated texts. In this paper, we propose metrics to evaluate both the quality and diversity simultaneously by approximating the distance of the learned generative model and the real data distribution. For this purpose, we first introduce a metric that approximates this distance using n-gram based measures. Then, a feature-based measure which is based on a recent highly deep model trained on a large text corpus called BERT is introduced. Finally, for oracle training mode in which the generator's density can also be calculated, we propose to use the distance measures between the corresponding explicit distributions. Eventually, the most popular and recent text generation models are evaluated using both the existing and the proposed metrics and the preferences of the proposed metrics are determined.

연구 동기 및 목표

• 기존 메트릭이 품질(예: BLEU) 또는 다양성(예: Self-BLEU)을 별개로 평가함에 따라 두 요소 간의 트레이드오���을 忽시하는 한계를 해결하기 위해.
• 저품질 또는 저다양성 출력(모드 수축 발생 시)에 대해 벌점을 주는 대칭적이고 통합된 평가 메트릭을 개발하기 위해.
• 이미지 생성에서 Fréchet Inception Distance(FID)에 영감을 받은 BERT 기반 특징 공간 메트릭(FBD)을 제안하여 자연어에 적응시키기 위해.
• 진짜 데이터 분포가 알려진 오라클 훈련 설정을 위한 원칙적인 평가 방법을 제공하기 위해, Bhattacharyya 거리와 같은 발산을 사용하기 위해.
• 실세계 및 합성 데이터셋에서 제안된 메트릭을 검증하여, 온도 변화에 따른 모델의 정성적 행동과의 일관성을 입증하기 위해.

제안 방법

• MS-Jaccard는 생성된 문장 집합과 기준 문장 집합 간의 Jaccard 유사도를 계산하는 대칭적 n-gram 기반 메트릭으로, 품질과 커버리지 모두를 반영한다.
• FBD(특징 기반 거리)는 BERT 임베딩을 특징 추출기로 사용하여 실제 텍스트와 생성된 텍스트의 특징 분포 간의 Fréchet 거리를 계산하는 메트릭이다.
• 오라클 설정에서는 학습된 모델 분포와 진짜 데이터 분포(오라클) 간의 Bhattacharyya 거리를 사용하여 직접적인 분포 비교가 가능하도록 제안한다.
• 추론 과정에서 온도 스케일링을 적용하여 다양한 출력을 생성함으로써 품질-다양성 공간에서의 모델 행동 분석이 가능하도록 한다.
• 기준 품질 및 다양성 측정 지표로는 각각 NLL(Negative Log-Likelihood)과 엔트로피를 사용하여 비교한다.
• 온도 값에 따른 모델 성능에 다항식 피팅을 적용하여 품질-다양성 트레이드오프를 시각화하고 비교한다.

실험 결과

연구 질문

• RQ1 BLEU나 Self-BLEU와 같은 단일 메트릭에 의존하지 않고도 하나의 메트릭이 품질과 다양성을 효과적으로 동시에 캡처할 수 있는가?
• RQ2 제안된 메트릭(MS-Jaccard 및 FBD)이 다양한 추론 온도 설정에서 실제 모델의 품질-다양성 행동과 얼마나 잘 상관되는가?
• RQ3 제안된 메트릭이 인간 평가 및 품질-다양성 공간에서의 모델 우월성 순서와 어느 정도 일치하는가?
• RQ4 BERT 기반 특징 표현이 이미지 생성에서 FID와 유사하게 텍스트 생성을 위한 강력하고 이식 가능한 평가 메트릭을 가능하게 하는가?
• RQ5 진짜 데이터 분포가 알려진 오라클 설정에서 분포 기반 발산(Bhattacharyya 등)은 어떻게 성능을 발휘하는가?

주요 결과

• MS-Jaccard4는 COCO, EMNLP2017, IMDB 데이터셋 전반에서 일관된 모델 순서를 보이며, 전체 온도 스펙트럼 분석 결과(예: MLE > MaliGAN > RankGAN > SeqGAN)와 일치한다.
• FBD 점수는 EMNLP2017 및 IMDB 데이터셋에서 온도 설정에 따른 실제 품질-다양성 행동과 높은 상관관계를 보인다.
• 실세계 데이터셋에서 제안된 메트릭(1−MS-Jaccard4 및 FBD)은 상호 간 및 NLL과 높은 피어슨 상관계수(r > 0.8)를 보이며, 강력한 일관성을 나타낸다.
• 오라클 데이터셋에서는 모델과 오라클 분포 간의 Bhattacharyya 거리가 모델 성능을 정확히 순위 매기며, 폐쇄형 설정에서의 타당성을 확인한다.
• 이 메트릭들은 모드 수축을 성공적으로 식별한다: 다양성이 낮은 모델(예: SeqGAN)은 BLEU에서는 높은 점수를 받지만, MS-Jaccard 및 FBD에서는 낮은 점수를 받으며, 다양성 부족을 반영한다.
• 온도 스케일링을 통한 분석은 제안된 메트릭이 모든 온도에서의 모델 행동을 정밀하게 예측할 수 있으며, 모든 온도에서의 평가가 필수적이지 않음을 보여준다.