[논문 리뷰] Learning to Compare for Better Training and Evaluation of Open Domain Natural Language Generation Models

Wangchunshu Zhou, Ke Xu|arXiv (Cornell University)|2020. 02. 12.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 자연어 생성(NLG) 모델을 쌍별 비교를 통한 양성 학습 방식으로 평가하는 자기지도 학습 '비교 학습' 프레임워크를 제안한다. 이는 인간 선호도와의 상관관계를 향상시키기 위해 BERT를 미세조정하여 구현된다. 모델 수준 평가를 위해 기술 평가 체계를 도입하였으며, 훈련 및 평가 모두에서 BLEU나 퍼플렉서티보다 뛰어난 성능을 보이며, 인간 선호 데이터가 최소한일 경우에도 유의미하게 성능을 발휘한다.

ABSTRACT

Automated evaluation of open domain natural language generation (NLG) models remains a challenge and widely used metrics such as BLEU and Perplexity can be misleading in some cases. In our paper, we propose to evaluate natural language generation models by learning to compare a pair of generated sentences by fine-tuning BERT, which has been shown to have good natural language understanding ability. We also propose to evaluate the model-level quality of NLG models with sample-level comparison results with skill rating system. While able to be trained in a fully self-supervised fashion, our model can be further fine-tuned with a little amount of human preference annotation to better imitate human judgment. In addition to evaluating trained models, we propose to apply our model as a performance indicator during training for better hyperparameter tuning and early-stopping. We evaluate our approach on both story generation and chit-chat dialogue response generation. Experimental results show that our model correlates better with human preference compared with previous automated evaluation approaches. Training with the proposed metric yields better performance in human evaluation, which further demonstrates the effectiveness of the proposed model.

연구 동기 및 목표

• 열린 도메인 NLG 작업에서 전통적인 지표인 BLEU나 퍼플렉서티가 인간 판단과 상관관계가 낮은 문제를 해결하기 위해.
• 인간 선호도를 더 잘 반영하는 자율 지도 학습 기반의 자동 평가 방법을 개발하기 위해.
• 샘플 수준의 쌍별 비교를 기반으로 한 기술 평가 체계를 활용해 효과적인 모델 수준 평가를 가능하게 하기 위해.
• 제안된 비교 평가자로 BLEU와 같은 열악한 지표를 대체하여 하이퍼파라미터 튜닝과 조기 정지 과정을 개선하기 위해.
• 인간 애너테이션의 비용을 줄이기 위해 약한 지도 학습과 제한된 인간 선호 데이터를 활용한 효과적인 사전 훈련을 가능하게 하기 위해.

제안 방법

• 두 개의 생성된 NLG 출력 중 어느 것이 더 좋은지 분류하는 데 BERT를 미세조정하고, 쌍별 분류 헤드를 사용한다.
• 강한 지도 학습(골드 레퍼런스가 생성 출력보다 낫다고 간주)과 약한 지도 학습(훈련 단계가 진행될수록 모델 품질 향상)을 활용해 자기지도 학습 방식으로 모델을 훈련시킨다.
• 두 출력이 유사하게 평가될 경우를 고려해 모델이 불확실성을 표현할 수 있도록 '비기승' 옵션을 도입한다.
• ELO/Trueskill와 유사한 기술 평가 체계를 도입하여 쌍별 비교 결과를 기반으로 NLG 모델을 순위 매기며, 효율적인 모델 수준 평가를 가능하게 한다.
• 최소한의 인간 선호 애너테이션을 사용해 모델을 미세조정하여 인간 판단과의 일치도를 높인다.
• 훈련 중 손실 함수나 평가 지표로 훈련된 비교 평가자를 활용하여 하이퍼파라미터 튜닝과 조기 정지를 이끌어내는 데 사용한다.

실험 결과

연구 질문

• RQ1 BERT 기반의 자기지도 학습 쌍별 비교 모델이 기존의 BLEU나 퍼플렉서티와 비교해 인간 선호도와 더 높은 상관관계를 달성할 수 있는가?
• RQ2 제안된 방법이 훈련 목표나 조기 정지 기준으로 사용되었을 때 모델 훈련에 얼마나 효과적인가?
• RQ3 강한 지도 학습, 약한 지도 학습, 인간 선호 데이터, 그리고 '비기승' 옵션 각각이 최종 성능에 기여하는 정도는 어떠한가?
• RQ4 인간 선호 애너테이션 없이도 모델이 잘 일반화되는가? 이러한 환경에서 기준 모델들과 비교해 성능은 어떠한가?
• RQ5 직접 평균 비교를 수행하는 것보다 기술 평가 체계가 더 정확하고 효율적인 모델 수준 평가 방법을 제공하는가?

주요 결과

• 제안된 모델은 Dailydialog 데이터셋에서 인간 선호도와 스피어만 상관계수 0.764, 피어슨 상관계수 0.783를 기록하여 BLEU 및 기타 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 쌍별 비교 메커니즘을 제거한 경우(비교 없음) 상관계수는 0.491(Spearman)로 감소하여 비교가 성능 향상에 필수적임을 입증했다.
• '비기승' 옵션을 도입함으로써 성능 향상이 이루어졌으며, 이를 제외할 경우 상관계수는 0.557로 하락하여 모델의 불확실성 표현과 일반화 능력 향상에 기여함을 시사한다.
• 인간 선호 애너테이션을 사용해 미세조정하면 최고의 상관계수를 기록하지만, 이를 생략한 경우에도 상관계수 0.602(Spearman)를 기록하여 자원이 제한된 환경에서도 유용함을 입증했다.
• BERT를 기반 모델로 사용하는 것이 핵심이며, 사전 학습 없이 훈련한 경우 상관계수는 0.644에 불과하여 사전 학습된 언어 이해 능력의 중요성을 보여준다.
• 훈련 중 제안된 지표를 사용할 경우 인간 평가 기준으로 측정한 모델 성능이 향상되었으며, 이는 하이퍼파라미터 튜닝과 조기 정지 지도에 효과적임을 입증한다.