[논문 리뷰] PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems

Tian Lan, Xian-Ling Mao외 3명|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 28인용 수 16

한 줄 요약

이 논문은 데이터 증강된 양성 샘플과 가중치가 부여된 음성 샘플링 전략을 사용하여 인간 평가와의 상관관계를 향상시키는 새로운 학습 기반의 자동 평가 지표인 PONE을 제안한다. BERT-RUBER와 같은 최신 기법들보다 평균 상관관계에서 13.18% 향상된 성능을 기록하며, 유창성, 일관성, 참여도 등 다양한 측면에서 인간 평가와 뛰어난 일치를 보인다.

ABSTRACT

Open-domain generative dialogue systems have attracted considerable attention over the past few years. Currently, how to automatically evaluate them, is still a big challenge problem. As far as we know, there are three kinds of automatic methods to evaluate the open-domain generative dialogue systems: (1) Word-overlap-based metrics; (2) Embedding-based metrics; (3) Learning-based metrics. Due to the lack of systematic comparison, it is not clear which kind of metrics are more effective. In this paper, we will first measure systematically all kinds of automatic evaluation metrics over the same experimental setting to check which kind is best. Through extensive experiments, the learning-based metrics are demonstrated that they are the most effective evaluation metrics for open-domain generative dialogue systems. Moreover, we observe that nearly all learning-based metrics depend on the negative sampling mechanism, which obtains an extremely imbalanced and low-quality dataset to train a score model. In order to address this issue, we propose a novel and feasible learning-based metric that can significantly improve the correlation with human judgments by using augmented POsitive samples and valuable NEgative samples, called PONE. Extensive experiments demonstrate that our proposed evaluation method significantly outperforms the state-of-the-art learning-based evaluation methods, with an average correlation improvement of 13.18%. In addition, we have publicly released the codes of our proposed method and state-of-the-art baselines.

연구 동기 및 목표

• 오픈 도메인 대화 시스템 평가에서 어휘 일치 기반, 임베딩 기반, 학습 기반 지표의 효과를 체계적으로 비교하는 것.
• 기존 학습 기반 지표의 한계, 특히 균형 잡히지 않은 저품질 음성 샘플에 대한 의존성의 규명.
• 데이터 품질 향상과 결정 경계 학습 개선을 통해 모델 성능을 향상시키는 새로운 학습 기반 지표인 PONE의 제안.
• 다양한 벤치마크에서 제안된 방법을 검증하고 최신 기준 기준보다 뛰어난 성능을 입증하는 것.

제안 방법

• PONE는 EDA 및 Seq2Seq 기반 기법을 활용한 데이터 증강 기법을 적용하여 고품질의 양성 샘플을 생성하고 클래스 불균형 문제를 완화한다.
• 의미 있는, 구분하기 어려운 음성 샘플을 우선적으로 선택하는 가중치가 부여된 음성 샘플러를 도입하여 결정 경계 학습을 향상시킨다.
• 증강된 양성 샘플의 노이즈를 줄이기 위해 새로운 반복적 레이블 필터 알고리즘을 적용하여 학습 데이터 품질을 향상시킨다.
• 최적의 성능를 위해 초모수를 조정한 채로, 증강된 양성 샘플과 철저히 선택된 음성 샘플을 조합하여 점수 모델을 학습시킨다.
• 프레임워크는 온도 기반 샘플링 전략을 통합하고 생성된 양성 샘플 수(k)를 제어하여 다양성과 품질의 균형을 맞춘다.
• 노이즈가 포함된 증강 데이터의 영향을 줄이고 모델 일반화 능력을 향상시키기 위해 반복적 보완 과정을 사용한다.

실험 결과

연구 질문

• RQ1 오픈 도메인 대화 시스템에서 인간 평가와 가장 밀접한 상관관계를 가지는 자동 평가 지표의 유형은 무엇인가? (어휘 일치 기반, 임베딩 기반, 학습 기반)
• RQ2 특히 음성 샘플의 품질과 균형이 학습 기반 평가 지표의 성능에 어떤 영향을 미치는가?
• RQ3 양성 샘플의 데이터 증강과 지능적인 음성 샘플링 전략이 대화 평가에서 점수 모델의 결정 경계를 향상시킬 수 있는가?
• RQ4 PONE은 BERT-RUBER 및 BERTScore와 같은 기존 최신 학습 기반 지표보다 인간 평가와의 상관관계에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 PONE의 구성 요소인 양성 데이터 생성기, 가중치가 부여된 음성 샘플러, 레이블 필터는 각각 및 종합적으로 성능 향상에 어떤 기여를 하는가?

주요 결과

• PONE는 다양한 데이터셋과 평가 차원에서 최신 기준 지표인 BERT-RUBER보다 평균 상관관계에서 13.18% 향상된 성능을 기록한다.
• 체계적인 비교 결과, 학습 기반 지표가 어휘 일치 기반 및 임베딩 기반 지표보다 인간 평가와의 일치도에서 뚜렷한 우월성을 보였다.
• Seq2Seq 기반 데이터 증강 기법을 활용한 양성 샘플 생성은 EDA 대비 더 뛰어난 성능을 보였으며, 이는 더 높은 품질의 생성 샘플이 더 나은 지표 학습을 이끌 수 있음을 시사한다.
• 가중치가 부여된 음성 샘플링 전략은 더 의미 있는 음성 예제를 선택하여 성능 향상에 기여했으며, 저품질 샘플의 영향을 줄였다.
• 레이블 필터 알고리즘은 증강된 양성 샘플의 노이즈를 효과적으로 감소시켜 다양한 설정에서 일관된 성능 향상을 이끌어냈다.
• PONE의 성능는 특히 단일 대화 설정에서 평균 인간 평가 수준에 매우 가까워, 강력한 인간 평가 일치도를 보였다.