[논문 리뷰] On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation

Jianing Li, Yanyan Lan외 2명|arXiv (Cornell University)|2020. 07. 03.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

이 논문은 텍스트 생성에서 품질-다양성 평가를 분포 적합 목표와 이론적으로 연결하며, 품질 및 다양성 지표의 선형 조합이 엄격한 조건을 만족할 때에만 타당한 발산 거리 측도가 된다는 것을 증명한다. BLEU/자기-BLEU가 분포 적합과 호환되지 않음을 밝히고, 분포 정확성과 생성 품질을 동시에 반영하는 데 더 우수한 대체 지표로 커버리지 레이트(CR)와 음의 반복률(NRR)을 제안한다.

ABSTRACT

The goal of text generation models is to fit the underlying real probability distribution of text. For performance evaluation, quality and diversity metrics are usually applied. However, it is still not clear to what extend can the quality-diversity evaluation reflect the distribution-fitting goal. In this paper, we try to reveal such relation in a theoretical approach. We prove that under certain conditions, a linear combination of quality and diversity constitutes a divergence metric between the generated distribution and the real distribution. We also show that the commonly used BLEU/Self-BLEU metric pair fails to match any divergence metric, thus propose CR/NRR as a substitute for quality/diversity metric pair.

연구 동기 및 목표

• 텍스트 생성에서 품질-다양성 평가와 분포 적합 목표 간의 이론적 관계를 명확히 하는 것.
• 생성된 텍스트와 진짜 텍스트 분포 사이의 유효한 발산 거리 측도로 품질 및 다양성 지표가 작동할 수 있는 조건을 규명하는 것.
• 분포 민감성 반영에 실패하는 널리 쓰이는 지표들, 예를 들어 BLEU와 자기-BLEU의 한계를 규명하는 것.
• 분포 적합 목표와 더 잘 부합하는 새로운 지표 쌍인 커버리지 레이트(CR)와 음의 반복률(NRR)을 제안하는 것.
• 다양한 생성 설정에서 실제 텍스트 데이터를 대상으로 제안된 지표들을 실증적으로 검증하는 것.

제안 방법

• 생성된 분포의 함수로 품질과 다양성을 정의하며, 기본 함수의 적분 변환을 통해 이를 수식화한다.
• 품질과 다양성을 동시에 최대화하는 다목적 최적화 문제를 분석하고, 파레토 최적 해를 규명한다.
• 품질 및 다양성 지표의 선형 조합이 발산 거리 측도가 되기 위해서는 지표들이 특정 기능적 관계를 만족해야 한다는 것을 증명한다: g(x)는 f(x)의 애프린 변환의 적분이어야 한다.
• 실제 텍스트가 모델에 의해 생성된 샘플보다 두 지표에서 모두 높은 점수를 받는 등 직관에 어긋나는 결과를 통해 BLEU/자기-BLEU 쌍이 이 조건을 충족하지 못함을 입증한다.
• CR과 NRR를 대체 지표로 제안한다: CR은 참조 집합에 포함된 고유한 n-그램의 비율을 측정하며, NRR는 생성 샘플 내 반복을 페널티 처리한다.
• RNNLM에서의 온도 스위프 실험을 통해 CR/NRR를 검증하여, 품질, 다양성, 발산 경향과 일관된 추세를 보임을 확인한다.

실험 결과

연구 질문

• RQ1 품질 및 다양성 지표의 선형 조합이 생성된 텍스트 분포와 진짜 텍스트 분포 사이의 유효한 발산 거리 측도로 작동할 수 있는 조건은 무엇인가?
• RQ2 왜 널리 쓰이는 지표들인 BLEU와 자기-BLEU가 텍스트 생성에서 진짜 분포 적합 목표를 반영하지 못하는가?
• RQ3 품질, 다양성, 분포 민감성의 세 가지 요소를 동시에 반영할 수 있는 새로운 지표 쌍을 구성할 수 있는가?
• RQ4 CR과 NRR는 다양한 생성 설정에서 품질과 다양성의 상호 보완적 관계를 어떻게 반영하는가?
• RQ5 실증 평가에서 CR/NRR와 그 선형 조합은 실제 분포 발산과 어느 정도 상관이 있는가?

주요 결과

• 품질 및 다양성 지표의 선형 조합이 유효한 발산 거리 측도가 되기 위해서는 지표들이 엄격한 기능적 관계를 만족해야 한다: g(x)는 f(x)의 애프린 변환의 적분이어야 한다.
• 널리 쓰이는 BLEU/자기-BLEU 지표 쌍은 이 조건을 충족하지 못하며, 분포 적합 목표를 반영할 수 없다. 이는 실제 텍스트가 모델 생성 샘플보다 두 지표에서 모두 높은 점수를 받는 등 실증적 증거로 입증된다.
• 커버리지 레이트(CR)와 음의 반복률(NRR)은 이론적으로 탄탄한 근거를 지닌 대체 지표 쌍으로, 품질과 다양성 목표 모두와 부합한다.
• 온도 스위프 실험을 통해 RNNLM에서 CR/NRR가 품질과 다양성의 추세를 일관되게 따라가며, 그 선형 조합은 분포 발산과 상관관계를 보임을 확인했다.
• CR/NRR 성능은 n-그램 길이가 증가함에 따라 급격히 향상되며, 이는 n=2 또는 n=3과 같은 짧은 n-그램에서 최적의 성능를 발휘할 수 있음을 시사한다.
• 결과적으로, 이 논문은 품질-다양성 평가에서 BLEU/자기-BLEU보다 CR/NRR를 우선적으로 사용해야 한다고 제안한다.