[논문 리뷰] How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation

Chia‐Wei Liu, Ryan Lowe외 4명|arXiv (Cornell University)|2016. 03. 25.

Topic Modeling참고 문헌 41인용 수 614

한 줄 요약

본 논문은 일반적인 비지도 자동 지표(BLEU, METEOR, ROUGE, 및 임베딩 기반 점수)가 대화 응답에 대해 인간 평가와의 상관관계가 낮거나 거의 없음을 Twitter 및 Ubuntu 도메인에서 보여주고, 더 나은 평가 지표 개발의 필요성을 제안한다.

ABSTRACT

We investigate evaluation metrics for dialogue response generation systems where supervised labels, such as task completion, are not available. Recent works in response generation have adopted metrics from machine translation to compare a model's generated response to a single target response. We show that these metrics correlate very weakly with human judgements in the non-technical Twitter domain, and not at all in the technical Ubuntu domain. We provide quantitative and qualitative results highlighting specific weaknesses in existing metrics, and provide recommendations for future development of better automatic evaluation metrics for dialogue systems.

연구 동기 및 목표

• 감독 학습 태그 없이 대화 응답 생성을 위한 비지도 자동 지표의 효과를 평가한다.
• 단어 중복 기반 지표와 임베딩 기반 지표를 인간 판단의 예측 변수로서 검토한다.
• 도메인 다양성 있는 대화 데이터셋(Twitter와 Ubuntu)에서 지표 성능을 비교한다.
• 현재 지표의 약점을 식별하기 위한 정성적 및 통계적 분석을 제공한다.
• 인간 판단과 더 잘 일치하는 향후 지표 설계에 대한 권고를 제시한다.

제안 방법

• Twitter 및 Ubuntu 말뭉치 전반에 걸친 다양한 대화 모델(검색 기반 및 생성 기반)로부터 응답을 수집한다.
• 제안된 응답을 실제 정답 응답과 대비하여 단어 중복 지표(BLEU, METEOR, ROUGE) 및 임베딩 기반 지표(Greedy Matching, Embedding Average, Vector Extrema)를 사용해 평가한다.
• 피어슨(Pearson) 및 스피어만(Spearman) 상관관계를 사용한 통제된 사용자 연구로부터 얻은 인간 판단과 자동 지표 점수를 상관시킨다.
• 지표와 인간이 의견이 다른 사례에 대해 정성적 분석을 수행하여 실패 모드를 식별한다.
• 지표가 불용어/구두점 및 응답 길이 차이에 얼마나 민감한지 분석한다.
• 한계를 논의하고 향후 지표 설계를 위한 가이드라인을 제시한다.

실험 결과

연구 질문

• RQ1 표준 비지도 지표가 서로 다른 도메인에서 대화 응답 품질에 대한 인간 판단과 상관관계가 있는가?
• RQ2 Twitter 및 Ubuntu 대화 데이터셋에서 단어 중복 및 임베딩 기반 지표가 인간 판단과의 상관관계에 대해 어떤 성능을 보이는가?
• RQ3 대화 시스템용 현재 자동 평가 지표의 주요한 한계는 무엇인가?
• RQ4 인간 판단에 더 근접하게 정렬될 수 있는 지표로 이끌 수 있는 방향은 무엇인가?

주요 결과

• BLEU 점수(BLEU-4 포함)는 두 도메인에서 인간 판단과의 상관관계가 거의 없거나 매우 약하며, Twitter에서만 약간의 양의 상관이 나타난다.
• 임베딩 기반 지표는 모델 품질(최신 모델 대 베이스라인)을 구분하지만 인간 판단과의 상관은 약하거나 전혀 없으며, 특히 Ubuntu에서 그렇다.
• BLEU-2와 embedding-average가 최상의 상관을 제공하지만 여전히 약하며, 불용어/구두점 제거 또는 응답 길이가 크게 차이가 날 때 상관도는 악화된다.
• 정성적 사례는 어휘 차이가 임베딩 기반 지표를 오도할 수 있으며, 의미적 적합성을 포착하기 위해 맥락 민감한 평가가 필요함을 드러낸다.
• BLEU-3/4는 종종 거의 0에 가까운 점수를 생성하여 실제 대화 평가에서 신뢰할 수 없게 한다.
• 본 논문은 현재 지표들이 비지도 대화 평가에 충분하지 않다고 결론짓고 인간 판단을 더 잘 반영하는 새로운 지표를 촉구한다.