[논문 리뷰] Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems

Asma Ghandeharioun, Judy Hanwen Shen외 5명|arXiv (Cornell University)|2019. 06. 21.

Topic Modeling참고 문헌 43인용 수 51

한 줄 요약

논문은 심리학에서 영감을 받은 지표를 사용하여 오픈 도메인 대화 시스템의 인터랙티브 인간 평가를 근사하기 위한 자가 학습(self-play) 프레임워크를 제안하며, 인간 판단과의 높은 상관관계(r > 0.7, p < .05)를 달성합니다. 또한 대화 모델의 계층적 구조를 감정과 의미 distillation으로 정규화하고 데이터 및 플랫폼의 소스 코드를 공개합니다.

ABSTRACT

Building an open-domain conversational agent is a challenging problem. Current evaluation methods, mostly post-hoc judgments of static conversation, do not capture conversation quality in a realistic interactive context. In this paper, we investigate interactive human evaluation and provide evidence for its necessity; we then introduce a novel, model-agnostic, and dataset-agnostic method to approximate it. In particular, we propose a self-play scenario where the dialog system talks to itself and we calculate a combination of proxies such as sentiment and semantic coherence on the conversation trajectory. We show that this metric is capable of capturing the human-rated quality of a dialog model better than any automated metric known to-date, achieving a significant Pearson correlation (r&gt;.7, p

연구 동기 및 목표

• 오픈 도메인 대화 시스템에 대해 다-turn 인터랙티브 평가가 필수적임을 주장한다.
• 심리학 정보를 활용한 지표를 사용하여 인터랙티브 인간 평가를 근사하는 자가 학습 프레임워크를 도입한다.
• 자가 학습에서 계산된 하이브리드 지표가 인간 판단과 높은 상관관계(r > 0.7)를 보임을 Demonstrate 한다.
• 감정(sentiment)과 의미(semantics) 지식 증류를 통해 계층적 대화 모델의Interactive 성능을 개선하도록 Regularize 한다.
• 재현성을 높이기 위해 평가 플랫폼과 Reddit 기반 데이터 세트를 오픈 소스로 공개한다.

제안 방법

• 심리학에서 영감을 얻은 감정(sentiment), 의미(semantics), 참여도(engagement) 지표를 정의한다(감정 일관성, Infersent 기반 의미 비유사도, 어휘/일관성 지표, 질문을 통한 참여도).
• 인터랙티브 평가에서 얻은 데이터로 이 지표를 인간 판단에 매핑하는 함수를 학습한다.
• 자가 학습을 적용하여 대화 모델이 10턴의 궤적을 생성하게 하고 동일한 지표를 계산한 뒤 학습된 매핑으로 품질을 예측한다.
• EI 증류를 통해 HRED/VHRED/VHCR의 최상위 Context RNN을 정규화하여 발화에서 감정과 의미를 인코딩한다.
• Cornell 및 Reddit 데이터셋에서 인터랙티브 평가와 정적 지표를 사용하여 baseline과 EI 변형을 비교한다.
• 코드, 데이터 및 평가 플랫폼을 오픈 소스로 공개한다.

실험 결과

연구 질문

• RQ1 인터랙티브 다-turn 평가를 자가 학습 프레임워크로 효과적으로 근사할 수 있는가?
• RQ2 심리학에서 영감을 받은 지표들(감정, 의미, 참여)이 대화 품질에 대한 인간 판단을 예측하는가?
• RQ3 감정과 의미의 지식 증류가 계층적 대화 모델의 인터랙티브 평가 성능을 개선하는가?
• RQ4 자가 학습 기반 지표가 인간 판단과의 상관관계에서 전통적인 자동 지표와 비교해 어떤 차이를 보이는가?

주요 결과

• 자가 학습 기반 하이브리드 지표 M_H가 모델 간 인간 평가와 강한 상관관계를 보인다(r > .7, p < .05).
• EI 정규화가 Cornell와 Reddit 데이터 모두에서 HRED, VHRED, VHCR 아키텍처의 인터랙티브 평가 결과를 개선한다.
• 정적 자동 지표(혼란도/KL/임베딩 거리)는 인간 판단과의 상관이 약하거나 불일치한 경향이 있다.
• EI 모델은 인터랙티브 설정 및 자가 학습 모두에서 더 길고, 더 참여적이며, 의미적으로 일관된 대화를 유도한다.
• Reddit 기반 학습 데이터가 Cornell 데이터보다 인터랙티브 평가 성능이 더 우수하다.
• 독립적인 정적 인간 평가의 변동성과 낮은 평가자 간 합의는 인터랙티브 평가의 가치를 강조한다.