[논문 리뷰] Designing Precise and Robust Dialogue Response Evaluators

Tianyu Zhao, Divesh Lala외 1명|arXiv (Cornell University)|2020. 04. 10.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

이 논문은 정확도와 강건성을 향상시키기 위해 RoBERTa를 활용한 기준 없음(reference-free), 준지도 학습(semi-supervised) 대화 응답 평가 모델을 제안한다. 기준 없음 점수 평가, 제한된 인간 주석 데이터에 대한 준지도 학습 미세조정, 강력한 사전 훈련된 표현을 결합함으로써, 모델은 인간 평가와 상관관계가 0.6 초과, 스피어만 상관계수 0.66 초과를 기록하며, 이는 교차 도메인 및 저자원 설정에서 이전 방법들을 능가한다.

ABSTRACT

Automatic dialogue response evaluator has been proposed as an alternative to automated metrics and human evaluation. However, existing automatic evaluators achieve only moderate correlation with human judgement and they are not robust. In this work, we propose to build a reference-free evaluator and exploit the power of semi-supervised training and pretrained (masked) language models. Experimental results demonstrate that the proposed evaluator achieves a strong correlation (> 0.6) with human judgement and generalizes robustly to diverse responses and corpora. We open-source the code and data in https://github.com/ZHAOTING/dialog-processing.

연구 동기 및 목표

• 기존의 자동 대화 응답 평가 모델이 낮은 상관관계와 열악한 강건성을 보이는 문제를 해결하기 위해.
• 기준 응답에 의존하는 것에서 비롯되는 낮은 점수 분산과 일반화 능력 부족 문제를 제거함으로써 평가 정밀도를 향상시키기 위해.
• 제한된 인간 주석 데이터와 강력한 사전 훈련된 언어 모델을 활용한 준지도 학습을 통해 강건성을 향상시키기 위해.
• 저자원 및 교차 도메인 설정에서도 효과적인 평가를 가능하게 하기 위해.
• 다양하고 새로운 응답 및 코퍼스에 잘 일반화되는 평가 모델을 개발하기 위해.

제안 방법

• 기준 의존성 지표에서 발생하는 편향과 낮은 분산 문제를 제거하기 위해 기준 없음 평가 모델을 제안한다.
• 소량의 인간 주석된 응답 품질 점수를 기반으로 사전 훈련된 RoBERTa 모델을 미세조정하여 준지도 학습을 수행한다.
• 대규모 대화 데이터에서 모델을 사전 훈련하기 위해 다음 문장 예측(NSP)과 유사한 대조 학습 목적함수를 사용한다.
• RoBERTa로부터의 문맥적 표현과 완전 연결 신경망을 조합하여 응답 품질 점수를 예측한다.
• 사전 훈련 중에 마진 순서 정렬 손실(margin ranking loss)을 적용하여 참 응답과 부정 샘플을 구분한다.
• 단일 품질 점수를 예측하기 위해 다중 턴 대화 컨텍스트와 응답 쌍을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 기준 없음 응답 평가 모델은 기준 의존 기반 대비 인간 평가와 더 높은 상관관계를 달성할 수 있는가?
• RQ2 제한된 인간 주석 데이터에 대한 준지도 미세조정이 평가 모델의 성능과 강건성을 향상시키는가?
• RQ3 RoBERTa 기반 모델은 새로운 도메인과 저자원 설정으로도 효과적으로 일반화될 수 있는가?
• RQ4 제안된 평가 모델은 악성 또는 분포 외 응답에 대해 얼마나 강건한가?
• RQ5 시험 데이터에서 참 응답이 제거되었을 때 평가 모델의 성능이 유지되는가?

주요 결과

• RoBERTa 기반 평가 모델은 인간 평가와 피어슨 상관계수 0.64, 스피어만 상관계수 0.66를 기록하며, ADEM(0.34, 0.36) 및 RUBER(0.37, 0.31)를 크게 능가한다.
• 참 응답이 없는 조건에서 평가한 결과, 높은 상관관계(피어슨 0.62, 스피어만 0.64)를 유지하여 기준 제거에 대한 강건성을 입증한다.
• DailyDialog에서 훈련하고 PersonaChat에서 테스트했을 때, 모델은 피어슨 상관계수 0.69, 스피어만 상관계수 0.69를 기록하며 우수한 일반화 능력을 보였다.
• 반대로 PersonaChat에서 훈련하고 DailyDialog에서 테스트했을 때 성능이 저하되어 전이 학습에서 도메인 민감성이 있음을 시사한다.
• 단지 100개의 주석 샘플만으로도 모델이 거의 최적의 성능을 달성하여 저자원 학습 능력이 뛰어나다는 것을 보여준다.
• 관련성 주석과는 0.68(피어슨) 및 0.67(스피어만)의 상관관계를 보였지만, 문법 정확성과는 각각 0.09 및 0.15에 머물러, 모델이 문맥적 적절성을 더 잘 포착함을 시사한다.