[논문 리뷰] DynaEval: Unifying Turn and Dialogue Level Evaluation

Chen Zhang, Yiming Chen외 5명|arXiv (Cornell University)|2021. 06. 02.

Topic Modeling참고 문헌 53인용 수 7

한 줄 요약

DynaEval는 그래프 컬러네이션 네트워크(GCNs)를 사용하여 대화 전체를 모델링함으로써 발화 수준 및 화자 수준의 상호작용을 포착하는 통합된 자동 평가 프레임워크를 제안한다. 대화를 그래프로 표현하고 대조 학습을 적용함으로써 DynaEval는 발화 수준과 대화 수준에서 인간 평가와 높은 상관관계를 달성하며, 일관성 평가에서 최신 기술을 초월한다. 이는 종합적인 대화 수준 평가를 가능하게 한다.

ABSTRACT

A dialogue is essentially a multi-turn interaction among interlocutors. Effective evaluation metrics should reflect the dynamics of such interaction. Existing automatic metrics are focused very much on the turn-level quality, while ignoring such dynamics. To this end, we propose DynaEval, a unified automatic evaluation framework which is not only capable of performing turn-level evaluation, but also holistically considers the quality of the entire dialogue. In DynaEval, the graph convolutional network (GCN) is adopted to model a dialogue in totality, where the graph nodes denote each individual utterance and the edges represent the dependency between pairs of utterances. A contrastive loss is then applied to distinguish well-formed dialogues from carefully constructed negative samples. Experiments show that DynaEval significantly outperforms the state-of-the-art dialogue coherence model, and correlates strongly with human judgements across multiple dialogue evaluation aspects at both turn and dialogue level.

연구 동기 및 목표

• 기존 자동 평가 지표가 발화 수준의 품질에만 초점을 맞추고 대화 수준의 동역학을 忽시하는 한계를 해결한다.
• 오픈 도메인 대화에서 발화 수준 및 대화 수준 품질을 평가할 수 있는 통합 평가 프레임워크를 개발한다.
• 구조화된 그래프 표현을 통해 화자 및 발화 간 상호작용을 명시적으로 모델링하여 대화 평가를 향상시킨다.
• 일관성, 일관성, 다양성, 참여도와 같은 대화 속성의 종합적 평가를 단일 통합 프레임워크를 통해 가능하게 한다.
• 다양한 발화 간 장거리 의존성과 맥락적 역학을 포착함으로써 상호작용적 인간 평가의 더 신뢰할 수 있는 대체 지표를 제공한다.

제안 방법

• 각 발화를 노드로, 발화 간 의존성을 간선으로 하는 그래프로 대화를 표현한다.
• 전체 대화 구조를 캡처하기 위해 그래프 컬러네이션 네트워크(GCNs)를 사용하여 발화 수준 및 화자 수준의 상호작용을 인코딩한다.
• 의미 있는 대화 표현을 학습할 수 있도록 잘 구성된 대조 손실을 적용하여 잘 구성된 대화와 부정적 샘플 간의 구분을 강화한다.
• 양성 샘플로 실제 대화 발화, 부정적 샘플로 변형되거나 교환된 버전을 사용하는 약한 지도 학습 설정에서 프레임워크를 엔드 투 엔드로 훈련한다.
• 그래프 인코딩 이전에 발화 수준 표현을 풍부하게 하기 위해 사전 학습된 언어 모델(예: DialoGPT)과 통합한다.
• 인간 애너테이션 기반 대화 평가 데이터셋으로 미세조정하여 예측 결과를 다양한 측면에서 인간 평가와 일치시킨다.

실험 결과

연구 질문

• RQ1 통합 평가 프레임워크는 오픈 도메인 대화에서 발화 수준 및 대화 수준의 품질을 효과적으로 평가할 수 있는가?
• RQ2 GCN 기반의 대화 구조 모델링은 자동 회귀 또는 발화 수준 모델 대비 상호작용 역학을 얼마나 잘 포착하는가?
• RQ3 DynaEval는 일관성, 일관성, 참여도와 같은 다양한 평가 측면에서 인간 평가와 어느 정도 상관관계를 가지는가?
• RQ4 주제 깊이 및 다양성과 같은 대화 수준 속성 평가에서 DynaEval는 최신 기술 지표 대비 어떻게 성능을 발휘하는가?
• RQ5 DynaEval는 유창성 및 참여도 평가에서 어떤 한계를 지니며, 이를 어떻게 보완할 수 있는가?

주요 결과

• DynaEval는 대화 수준의 일관성과 일관성 평가에서 최신 기술 대화 일관성 모델을 뛰어넘으며 인간 평가와의 일치도가 뛰어나다.
• DynaEval는 발화 수준 및 대화 수준에서 일관성, 일관성, 참여도 등 다양한 평가 측면에서 인간 애너테이션과 강한 상관관계를 보이며, 종합적인 평가 성능을 확보한다.
• GCN를 통한 발화 간 의존성의 명시적 모델링 덕분에 특히 일관성과 일관성 평가에서 FED를 능가하는 성능을 보인다.
• GPT-2 및 FED와 같이 대규모 언어 모델링 목표로 사전 학습된 지표들과 비교해 보면, 유창성 및 다양성 평가에서는 성능이 떨어진다.
• 오류 분석 결과, 토큰 수준의 모델링이 아닌 발화 수준 표현에 의존함으로써 DynaEval는 유창성 평가에서 효과가 떨어지며, 이는 토큰 수준의 변형 전략이 필요함을 시사한다.
• DynaEval를 유창성 또는 참여도 전용 발화 수준 지표와 조합하면 상호작용적 인간 평가의 종합적 성격을 더 잘 근사할 수 있다.