[논문 리뷰] Trading Off Diversity and Quality in Natural Language Generation

Hugh Zhang, Daniel Duckworth외 2명|arXiv (Cornell University)|2020. 04. 22.

Natural Language Processing Techniques참고 문헌 35인용 수 19

한 줄 요약

이 논문은 응답 품질과 다양성을 동시에 최적화함으로써 자연어 생성에서 디코딩 알고리즘을 평가하기 위한 다목적 프레임워크를 제안한다. 품질-다양성 스펙트럼 전반에서 처음으로 대규모 평가를 수행하여, 품질이 우선시될 경우 뉴클레오스 샘플링이 다른 방법보다 뛰어나며, 실제로 '가능도 함정'(likelihood trap)을 확인한다—즉, 높은 확률을 가진 출력이 종종 낮은 품질을 가짐을 밝혀내며, 전역으로 정규화된 온도 샘플링을 직접적인 분할 함수 계산 없이도 실용적인 근사로 제공하는 선택적 샘플링(selective sampling)을 도입한다.

ABSTRACT

For open-ended language generation tasks such as storytelling and dialogue, choosing the right decoding algorithm is critical to controlling the tradeoff between generation quality and diversity. However, there presently exists no consensus on which decoding procedure is best or even the criteria by which to compare them. We address these issues by casting decoding as a multi-objective optimization problem aiming to simultaneously maximize both response quality and diversity. Our framework enables us to perform the first large-scale evaluation of decoding methods along the entire quality-diversity spectrum. We find that when diversity is a priority, all methods perform similarly, but when quality is viewed as more important, the recently proposed nucleus sampling (Holtzman et al. 2019) outperforms all other evaluated decoding algorithms. Our experiments also confirm the existence of the `likelihood trap', the counter-intuitive observation that high likelihood sequences are often surprisingly low quality. We leverage our findings to create and evaluate an algorithm called \emph{selective sampling} which tractably approximates globally-normalized temperature sampling.

연구 동기 및 목표

• 대화나 스토리텔링과 같은 개방형 언어 생성 작업에서 디코딩 알고리즘에 대한 합의가 부족한 문제를 해결하기 위해.
• 품질과 다양성의 전반적인 스펙트럼을 아우르는 신뢰할 수 있는 인간 평가 기반 프레임워크를 구축하여 디코딩 방법을 비교하기 위해.
• 높은 모델 가능도가 낮은 인간 평가 품질과 관련이 있다는 역설적인 현상—즉, '가능도 함정'을 조사하기 위해.
• 직접 분할 함수 계산 없이도 전역적으로 정규화된 온도 샘플링을 근사하는 새로운 디코딩 알고리즘인 선택적 샘플링을 개발하고 평가하기 위해.
• 약 10,000개의 생성 샘플에 대해 38,000건이 넘는 인간 평가를 활용하여 확장 가능한 대규모 디코딩 성능 평가를 제공하기 위해.

제안 방법

• 인간 평가를 품질의 대체 척도로 사용하여, 응답 품질과 다양성을 동시에 최대화하는 다목적 최적화 문제로 디코딩을 공식화한다.
• 146명의 커뮤니티 작업자들이 다양한 모델 가능도를 가진 100개 문장에 대해 평가하는 대규모 인간 평가 연구를 수행하여, 품질-가능도 관계를 측정한다.
• 분할 함수 계산 없이도 전역적으로 정규화된 온도 분포를 근사하는, 거부 샘플링 기반의 선택적 샘플링을 도입한다.
• 역 KL 발산과 경쟁 목표 최적화를 사용하여 선택적 샘플링 접근법의 이론적 기반을 마련하고, 샘플링된 문장에 대한 확률 밀도 추정을 가능하게 한다.
• 그리드 서치, 비임계 서치, top-k, top-p(뉴클레오스 샘플링), 온도 샘플링을 포함한 여러 디코딩 알고리즘을 다양성 중심과 품질 중심 설정에서 평가한다.
• 두 단계 과정을 사용한다: 인간이 작성한 코퍼스에서 모델을 훈련시켜 품질의 대체 척도로 삼고, 이후 다양한 디코딩 전략을 사용하여 원하는 트레이드오프를 최적화한다.

실험 결과

연구 질문

• RQ1 개방형 언어 생성에서 다양한 디코딩 알고리즘이 품질-다양성 스펙트럼 전반에서 어떻게 성능을 내는가?
• RQ2 모델 가능도가 인간 평가 품질과 얼마나 관련이 있으며, 이 관계가 비단조화적인 패턴을 보이는가?
• RQ3 분할 함수의 명시적 계산 없이도 실용적인 디코딩 알고리즘이 전역적으로 정규화된 온도 샘플링을 근사할 수 있는가?
• RQ4 품질이 다양성보다 우선시될 경우 뉴클레오스 샘플링이 다른 디코딩 전략보다 뛰어나게 성능을 내는가?
• RQ5 선택적 샘플링이 다양성과 품질을 효과적으로 균형 잡으면서도 생성된 출력에 대한 확률 밀도 추정을 가능하게 하는가?

주요 결과

• 다양성이 우선시될 경우, 모든 디코딩 알고리즘이 유사하게 성능을 내어, 표준 방법들 사이에서 다양성이 차별 요소가 되지 않는다는 것을 시사한다.
• 품질이 우선시될 경우, 뉴클레오스 샘플링(Top-p)이 그리드 서치, 비임계 서치, top-k, 온도 샘플링 등 다른 디코딩 알고리즘보다 유의미하게 뛰어나다.
• 연구는 '가능도 함정' 존재를 경험적으로 확인한다—즉, 높은 가능도를 가진 문장은 일반적으로 인간 평가자에 의해 낮은 품질로 평가되며, 이는 가능도와 품질 간의 일반적인 정적 상관관계와는 배치된다.
• 가능도 함정은 가능도 분포의 극단부에서 가장 두드러지며, 매우 낮거나 매우 높은 가능도를 가진 문장이 모두 낮은 인간 평가 품질을 받는다.
• 선택적 샘플링은 분할 함수의 명시적 계산 없이도 전역적으로 정규화된 온도 샘플링에 대한 실용적인 근사로 기능하며, 생성된 문장에 대한 정확한 확률 밀도 추정을 가능하게 한다.
• 이 프레임워크는 품질-다양성 전면에 걸쳐 인간 평가 기반의 대규모 디코딩 방법 비교를 가능하게 하여, 향후 평가를 위한 신뢰할 수 있는 기준을 제공한다.