[논문 리뷰] MDD-Eval: Self-Training on Augmented Data for Multi-Domain Dialogue Evaluation

Chen Zhang, Luis Fernando D’Haro외 2명|arXiv (Cornell University)|2021. 12. 14.

Topic Modeling인용 수 8

한 줄 요약

MDD-Eval는 인간 레이블 데이터를 활용해 교사 평가자 모델을 훈련한 후, 가공된 다중 도메인 대화 데이터를 기반으로 한 가짜 레이블을 부여하고 이를 통해 학생 평가자 모델을 훈련하는 자기학습 프레임워크를 제안한다. 이로 인해 여섯 개의 벤치마크에서 최신 기술 대비 평균 스피어만 상관계수 7%p의 절대적 향상을 달성한다.

ABSTRACT

Chatbots are designed to carry out human-like conversations across different domains, such as general chit-chat, knowledge exchange, and persona-grounded conversations. To measure the quality of such conversational agents, a dialogue evaluator is expected to conduct assessment across domains as well. However, most of the state-of-the-art automatic dialogue evaluation metrics (ADMs) are not designed for multi-domain evaluation. We are motivated to design a general and robust framework, MDD-Eval, to address the problem. Specifically, we first train a teacher evaluator with human-annotated data to acquire a rating skill to tell good dialogue responses from bad ones in a particular domain and then, adopt a self-training strategy to train a new evaluator with teacher-annotated multi-domain data, that helps the new evaluator to generalize across multiple domains. MDD-Eval is extensively assessed on six dialogue evaluation benchmarks. Empirical results show that the MDD-Eval framework achieves a strong performance with an absolute improvement of 7% over the state-of-the-art ADMs in terms of mean Spearman correlation scores across all the evaluation benchmarks.

연구 동기 및 목표

• 다양한 대화 도메인 간 일반화 부족 문제를 해결하기 위해 최신 자동 대화 평가 메트릭스(ADMs)의 한계를 해결한다.
• 제한된 인간 레이블 데이터로부터 응답 품질 평가 능력과 다중 도메인 일반화 능력을 동시에 학습할 수 있는 프레임워크를 개발한다.
• 인간 레이블 데이터와 대규모 증강된 합성 데이터를 융합하여 강력하고 다중 도메인에 적합한 평가를 가능하게 한다.
• 향후 ADM 훈련 및 연구를 지원하기 위해 대규모 다중 도메인 기계 레이블 데이터셋(MDD-Data)을 공개한다.

제안 방법

• 인간 레이블이 부여된 대화 데이터를 기반으로 도메인 특화된 응답 품질 구분 능력을 학습하는 교사 평가자 모델을 훈련한다.
• 무작위 발화 선택, 마스크 및 채우기, 역번역 등의 데이터 증강 기법을 적용하여 합성된 다중 도메인 대화 데이터를 생성한다.
• 교사 모델을 활용해 증강된 레이블이 없는 다중 도메인 데이터에 대해 가짜 레이블을 할당한다.
• 가짜 레이블이 부여된 다중 도메인 데이터를 기반으로 학생 평가자 모델을 미세조정하여 다양한 도메인 간 평가 능력을 일반화한다.
• 고신뢰도 가짜 레이블을 반복적으로 활용하는 자기학습 프레임워크를 도입하여 학생 모델의 성능을 점진적으로 향상시킨다.
• 교사 및 학생 평가자 모두의 기초로 사전 훈련된 언어 모델을 활용하여 강력한 표현 학습 능력을 확보한다.

실험 결과

연구 질문

• RQ1 자동 대화 평가 메트릭스는 다양한 대화 도메인에서 응답 품질을 정확히 평가하기 위해 어떻게 학습할 수 있는가?
• RQ2 어떤 기법들이 모델이 사전 훈련된 도메인 외부로도 평가 능력을 일반화할 수 있도록 하는가?
• RQ3 증강된 다중 도메인 데이터를 기반으로 한 자기학습이 대화 평가에서 제로샷 및 패스트 샷 일반화 성능을 향상시킬 수 있는가?
• RQ4 데이터 증강과 결합된 교사-학생 자기학습 프레임워크는 다중 도메인 평가에 있어 얼마나 효과적인가?
• RQ5 고품질의 합성 데이터는 다양한 벤치마크에서 ADM의 강건성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• MDD-Eval는 여섯 개의 대화 평가 벤치마크에서 최신 기술 대비 평균 스피어만 상관계수 7%p의 절대적 향상을 달성한다.
• Reddit나 Twitter 데이터로 사전 훈련되지 않은 강력한 베이스라인인 DEB와 GRADE보다도 여러 벤치마크에서 성능을 뛰어넘는다. 특히 Movie-Eval와 Twitter-Eval에서 유의미한 성능 향상을 보였다.
• MDD-Data를 기반으로 자기지도 학습 방식으로 훈련된 MDD-S 모델은 평균적으로 DEB를 초월하며, 자기학습 및 데이터 증강 파이프라인의 효과성을 입증한다.
• 사례 연구 결과, MDD-S 모델은 종종 일반적 또는 맥락적으로 관련성이 없는 응답에도 높은 점수를 매기는 경향이 있어 구체성과 장기적 맥락 모델링 향상이 필요함을 시사한다.
• 엔티티 수준의 전이 및 화자 의존성 구조를 포착하지 못하는 경향이 있어 향후 연구를 위한 구조적 및 의존성 모델링 개선 기회가 있다.
• MDD-Data 및 MDD-Eval 코드의 공개는 재현 가능성과 다중 도메인 대화 평가 분야의 향후 연구를 가능하게 한다.