[논문 리뷰] Automatic Evaluation and Moderation of Open-domain Dialogue Systems

Chen Zhang, João Sedoc외 3명|arXiv (Cornell University)|2021. 11. 03.

Topic Modeling참고 문헌 44인용 수 15

한 줄 요약

이 논문은 제10회 대화 시스템 기술 챌린지(DSTC10)의 트랙 5를 제시하며, 개방형 대화 시스템의 자동 평가 및 감시 기능을 중점으로 다룬다. 두 가지 하위 과제를 도입한다: (1) 다양한 대화 도메인에서 인간 평가와 높은 상관관계를 가지는 자동 평가 지표 개발, (2) 유해한 사용자 입력을 처리할 수 있는 안전한 응답 생성 시스템 개발. 9개 팀이 평가 하위 과제에 기여하여 인간 평가와의 상관관계가 향상되었으며, 감시 하위 과제는 제출이 없었지만 향후 연구를 위한 기준 시스템을 수립하였다.

ABSTRACT

The development of Open-Domain Dialogue Systems (ODS)is a trending topic due to the large number of research challenges, large societal and business impact, and advances in the underlying technology. However, the development of these kinds of systems requires two important characteristics:1) automatic evaluation mechanisms that show high correlations with human judgements across multiple dialogue evaluation aspects (with explainable features for providing constructive and explicit feedback on the quality of generative models' responses for quick development and deployment)and 2) mechanisms that can help to control chatbot responses,while avoiding toxicity and employing intelligent ways to handle toxic user comments and keeping interaction flow and engagement. This track at the 10th Dialogue System Technology Challenge (DSTC10) is part of the ongoing effort to promote scalable and toxic-free ODS. This paper describes the datasets and baselines provided to participants, as well as submission evaluation results for each of the two proposed subtasks.

연구 동기 및 목표

• 자연스러움과 적절성과 같은 다양한 대화 평가 차원에서 인간 평가와 강한 상관관계를 가지는 자동 평가 지표를 개발하기 위해.
• 인간이 주석한 품질 점수에 기반한 지도 학습을 통한 미세조정에 의존하지 않고도 일반화 가능한 강력한 평가 지표를 개발하기 위해.
• 대화 흐름과 참여도를 유지하면서도 유해한 사용자 입력을 처리할 수 있는 안전한 대화 시스템을 설계하기 위해.
• 단순히 유해한 댓글을 피하는 것만이 아니라 적절하고 예의 바른 응답을 가능하게 하는 안전한 응답 생성을 위한 벤치마크를 수립하기 위해.
• 향후 개방형 대화 시스템의 자동 평가 및 감시 분야 연구를 지원하기 위한 재사용 가능한 프레임워크와 기준 시스템을 제공하기 위해.

제안 방법

• 평가 하위 과제는 14개의 공개된 대화 데이터셋(예: ConvAI2-GRADE, DailyDialog-GRADE, Reddit-DSTC7)을 사용하여 자동 평가 지표의 학습 및 튜닝을 수행하였다.
• 참가자들은 인간 주석 품질 점수에 기반한 지도 모델 학습을 금지하여 일반화 가능성과 과적합 방지를 확보하였다.
• 감시 하위 과제는 유해성 및 응답 유형에 대해 주석이 달린 새로운 데이터셋을 사용하여 안전한 응답 생성 모델의 학습 및 평가를 수행하였다.
• 감시 과제를 위해 세 가지 기준 시스템을 개발하였다: 검색 기반 모델, 안전성 미세조정이 적용된 시퀀스 투 시퀀스 모델, 분류 기반 응답 선택 시스템.
• 평가 지표로는 인간 평가와의 상관관계(예: 피어슨 상관계수 및 스피어만 상관계수)와 BLEU, ROUGE, BERTScore 등의 자동 지표를 포함하였다.
• 프레임워크는 참조 기반 평가 없이 깊이 있는 AMFM 기반 기준(제าง 등, 2021b)을 활용하여 19개 데이터셋(14개 개발, 5개 테스트)에서 지표 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 개방형 대화 데이터셋과 평가 차원에서 자동 평가 지표가 인간 평가와 얼마나 잘 상관관계를 가지는가?
• RQ2 인간 주석 품질 점수에 기반한 지도 미세조정 없이도 자동 평가 지표가 도메인 간 일반화가 가능한가?
• RQ3 유해한 사용자 입력에 대해 대화의 일관성과 참여도를 유지하면서도 안전하고 비유해한 응답을 효과적으로 생성하는 방법은 무엇인가?
• RQ4 대화 시스템은 단순히 피하거나 거부하는 것이 아니라 어떻게 유해한 입력을 처리할 수 있는가?
• RQ5 향후 안전하고 신뢰할 수 있는 대화 시스템 개발을 위한 연구를 지원하기 위해 필요한 기준 시스템과 평가 프레임워크는 무엇인가?

주요 결과

• 9개 팀이 자동 평가 하위 과제에 참여하여 기준이 없는 지표를 사용해 인간 평가와의 상관관계가 향상되었지만, 여전히 향상 여지가 크다.
• 최고 성능을 보인 지표들은 여러 평가 차원과 데이터셋에서 중간에서 높은 상관관계(예: 피어슨 상관계수 r > 0.6)를 달성하였다.
• 감시 하위 과제에는 제출이 없었지만, 조직진은 안전한 응답 생성을 위한 세 가지 기준 시스템을 성공적으로 개발하고 평가하였다.
• 기준 시스템들은 유해성 탐지 및 적절한 응답 생성에서 다양한 성능을 보였으며, 검색 기반 및 미세조정된 시퀀스 투 시퀀스 모델이 단순 분류기보다 뛰어난 성능을 보였다.
• 향후 연구를 위해 통합된 평가 기준, 대화 수준의 주석, 그리고 유해성 및 편향과 같은 차원의 확대가 필요하다는 점을 강조하였다.
• 향후 작업은 감시 하위 과제를 두 부분으로 분할할 예정이다: 유해 댓글 분류 및 감지된 유해성 유형에 기반한 제어된 응답 생성.