[논문 리뷰] GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems

Lishan Huang, Zheng Ye외 3명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

GRADE는 공공지식 지식 그래프에서 유도된 그래프 구조화된 주제 전이를 통합함으로써 대화 일관성 평가를 향상시키는 새로운 자동 대화 일관성 메트릭이다. BERT 기반의 발화 표현과 주제 수준 대화 그래프에서의 그래프 신경망 추론(2-호프 이웃 및 호프 어텐션 사용)을 결합함으로써, 기존 최고 수준의 메트릭보다 인간 평가와 유의미하게 높은 상관관계를 달성한다.

ABSTRACT

Automatically evaluating dialogue coherence is a challenging but high-demand ability for developing high-quality open-domain dialogue systems. However, current evaluation metrics consider only surface features or utterance-level semantics, without explicitly considering the fine-grained topic transition dynamics of dialogue flows. Here, we first consider that the graph structure constituted with topics in a dialogue can accurately depict the underlying communication logic, which is a more natural way to produce persuasive metrics. Capitalized on the topic-level dialogue graph, we propose a new evaluation metric GRADE, which stands for Graph-enhanced Representations for Automatic Dialogue Evaluation. Specifically, GRADE incorporates both coarse-grained utterance-level contextualized representations and fine-grained topic-level graph representations to evaluate dialogue coherence. The graph representations are obtained by reasoning over topic-level dialogue graphs enhanced with the evidence from a commonsense graph, including k-hop neighboring representations and hop-attention weights. Experimental results show that our GRADE significantly outperforms other state-of-the-art metrics on measuring diverse dialogue models in terms of the Pearson and Spearman correlations with human judgements. Besides, we release a new large-scale human evaluation benchmark to facilitate future research on automatic metrics.

연구 동기 및 목표

• 개방형 대화에서 미세한 주제 전이 역학을 포착하지 못하는 기존 자동 메트릭의 한계를 해결하기 위해.
• 그래프 구조를 활용하여 발화 수준의 의미와 주제 수준의 흐름을 모두 모델링함으로써 대화 일관성 평가를 향상시키기 위해.
• 대화 주제에 대한 구조화되고 지식 증강된 추론을 통합함으로써 인간 판단과 더 밀접하게 일치하는 메트릭을 개발하기 위해.
• 향후 자동 대화 평가 메트릭 연구를 지원하기 위해 대규모 인간 주석 기반 벤치마크를 공개하기 위해.

제안 방법

• 문맥과 응답의 关련 키워드를 사용하여 ConceptNet의 노드에 대응하는 주제 수준의 대화 그래프를 구축한다.
• 2-호프 이웃 노드(=2)를 사용하여 노드 표현을 강화하고, 간선 중요도를 위한 호프 어텐션 가중치를 계산한다.
• 대화 그래프를 추론하기 위해 그래프 신경망(GNN)을 적용하고 세밀한 주제 수준 표현을 생성한다.
• BERT 기반의 발화 수준의 컨텍스트 표현과 그래프 수준의 표현을 연결(concatenation)하여 통합한다.
• 어휘적 및 의미적 차이를 고려한 음성 샘플링 전략을 사용하여 비지도 학습 방식으로 메트릭을 훈련시킨다.
• 결합된 표현에서 최종 일관성 점수를 계산하기 위해 다층 퍼셉트론(MLP)을 사용한다.

실험 결과

연구 질문

• RQ1 주제 전이에 대한 그래프 구조화된 추론이 자동 대화 일관성 평가를 향상시킬 수 있는가?
• RQ2 2-호프 이웃 및 어텐션 가중치를 통한 공공지식 통합이 메트릭 성능에 어떤 영향을 미치는가?
• RQ3 기존의 발화 수준 또는 통계 기반 메트릭보다 그래프 강화 메트릭이 인간 판단과의 상관관계에서 뛰어나게 성능을 발휘하는가?
• RQ4 GRADE는 새로운 대화 데이터셋(예: 채팅 데이터셋)에 대해 얼마나 강건한가?
• RQ5 효율적인 일관성 점수 산정을 위해 최적의 그래프 정보(예: 호프 수, 이웃 수 등)는 얼마인가?

주요 결과

• GRADE는 다양한 벤치마크에서 모든 최고 수준의 메트릭보다 인간 평가와 유의미하게 높은 피어슨 및 스피어만 상관관계를 달성한다.
• 음성 샘플링 전략은 무작위 샘플링 대비 평균 6.6% 향상된 성능을 보이며, 그 효과를 입증한다.
• 그래프 브랜치 또는 핵심 구성 요소(예: 2-호프 이웃, 호프 어텐션)를 제거할 경우 성능이 뚜렷이 저하되며, 이는 각 구성 요소의 기여도를 확인한다.
• 각 호프당 10개의 이웃을 사용하고 2-호프 표현을 활용할 경우 최고의 성능을 기록하며, 과도한 그래프 정보는 성능 저하를 초래한다.
• GRADE는 새로운 채팅 데이터셋에 대해 잘 일반화되며 강력한 제로샷 전이 성능을 보인다.
• 사례 연구 결과, GRADE는 일반적인 케이스에서는 잘 작동하지만, 응답에 두드러진 주제가 없거나 현재 발화와 맥락적으로 어긋난 경우에 어려움을 겪는다.