[논문 리뷰] Adversarial Evaluation of Dialogue Models

Anjuli Kannan, Oriol Vinyals|arXiv (Cornell University)|2017. 01. 27.

Topic Modeling참고 문헌 11인용 수 66

한 줄 요약

논문은 기계가 생성한 반응과 인간의 반응을 구분하는 판별기를 활용하여 대화 모델을 평가하는 방법을 연구한다. 판별기는 약 62.5% 정확도를 달성했고 알려진 약점을 부각했지만, 실제 도입 가능성은 여전히 불확실하다.

ABSTRACT

The recent application of RNN encoder-decoder models has resulted in substantial progress in fully data-driven dialogue systems, but evaluation remains a challenge. An adversarial loss could be a way to directly evaluate the extent to which generated dialogue responses sound like they came from a human. This could reduce the need for human evaluation, while more directly evaluating on a generative task. In this work, we investigate this idea by training an RNN to discriminate a dialogue model's samples from human-generated samples. Although we find some evidence this setup could be viable, we also note that many issues remain in its practical application. We discuss both aspects and conclude that future work is warranted.

연구 동기 및 목표

• 데이터 기반 대화 시스템의 평가를 perplexity 및 BLEU를 넘어서 개선하려는 동기를 부여한다.
• 적대적 설정이 인간 평가에 대한 자동 대리 지표로 사용될 수 있는지Investigate whether an adversarial setup can serve as an automatic proxy for human evaluation.
• 생산 등급의 대화 모델의 강점과 약점에 대해 판별기가 드러내는 바를 조사한다.

제안 방법

• 생성기: 관찰된 (o,r) 쌍에서 P(r|o)를 최대화하도록 학습된 시퀀스-투-시퀀스 RNN 인코더-디코더.
• 판별기: 인코더와 이진 분류기가 있는 RNN으로, r이 인간에 의해 생성된 경우와 생성기가 생성한 경우를 구분하도록 학습한다.
• 생성기에 대한 학습 목표: 데이터의 합계에서 log P(r1,...,rm|o1,...,on)을 최대화한다.
• 판별기에 대한 학습 목표: 데이터의 합계에서 log P(y|o1,...,on,r1,...,rm)을 최대화하는데, y는 인간(1) 또는 생성기(0)를 나타낸다.
• 실험 설정은 생산형 Smart Reply 데이터와 유사하며, 판별기는 손실 데이터에서 반은 인간으로 라벨링되고 반은 생성기가 샘플링한 응답으로 라벨링된 쌍으로 학습된다.

실험 결과

연구 질문

• RQ1 현실적 설정에서 판별기가 인간과 기계 생성 대화 응답을 효과적으로 구분할 수 있는가?
• RQ2 판별기가 대화 모델의 어떤 약점이나 편향을 드러내는가?
• RQ3 판별기 기반 평가가 인간 판단이나 향상된 대화 품질과 일치하는가?
• RQ4 자동 대화 평가에서 판별기를 사용하는 데 따른 실용적 도전과제는 무엇인가?

주요 결과

• 판별기가 생성기와 인간 응답을 구분하는 정확도는 62.5%이다.
• 판별기의 판단은 길이 분포 편향, 그리고 ‘감사합니다(Thank you)’ 같은 단순한 응답에 의존하는 등 알려진 약점을 반영한다.
• 판별기는 덜 일반적인 언어와 더 긴 응답을 선호하며, 다양성과 길이 신호를 중요한 특징으로 부각시킨다.
• 같은 길이의 응답을 비교할 때 판별기 점수로의 랭킹은 생성기 로그 가능도와의 상관관계가 약하며( Spearman ≈ -0.02 ).
• 판별기 성능은 인간이 관찰한 약점을 드러내지만 인간 평가나 전반적 품질에 대한 신뢰할 수한 대체 지표로 증명되지는 못한다.
• 본 연구는 추가 조사와 판별기에만 의존하는 평가자로 삼는 것에 대한 주의가 필요함을 시사한다.