[논문 리뷰] Pragmatically Appropriate Diversity for Dialogue Evaluation

Katherine Stasaski, Marti A. Hearst|arXiv (Cornell University)|2023. 04. 06.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 이전 발언의 발언행위를 바탕으로 대화 응답의 다양성을 평가하는 프레임워크인 실용적으로 적절한 다양성(PA Diversity)을 소개한다. 자동화된 다양성 지표와 창작자들의 인간 평가가 PA Diversity와 일치함을 보여주며, 응답 다양성은 대화 전반에 걸쳐 동일하게 취급되어서는 안 되고, 발언행위 유형에 따라 달라져야 한다는 점을 입증한다.

ABSTRACT

Linguistic pragmatics state that a conversation's underlying speech acts can constrain the type of response which is appropriate at each turn in the conversation. When generating dialogue responses, neural dialogue agents struggle to produce diverse responses. Currently, dialogue diversity is assessed using automatic metrics, but the underlying speech acts do not inform these metrics. To remedy this, we propose the notion of Pragmatically Appropriate Diversity, defined as the extent to which a conversation creates and constrains the creation of multiple diverse responses. Using a human-created multi-response dataset, we find significant support for the hypothesis that speech acts provide a signal for the diversity of the set of next responses. Building on this result, we propose a new human evaluation task where creative writers predict the extent to which conversations inspire the creation of multiple diverse responses. Our studies find that writers' judgments align with the Pragmatically Appropriate Diversity of conversations. Our work suggests that expectations for diversity metric scores should vary depending on the speech act.

연구 동기 및 목표

• 대화에서 발언행위 유형이 적절한 응답의 다양성에 제약을 가하는지 조사하는 것.
• 발언행위 기반 제약를 반영한 새로운 평가 지표인 실용적으로 적절한 다양성(PA Diversity)을 개발하는 것.
• 창작자들이 대화 프롬프트의 다각적 응답 가능성에 대해 평가하는 새로운 인간 평가 작업을 통해 PA Diversity를 검증하는 것.
• NLI Diversity와 같은 자동 다양성 지표가 발언행위 유형에 따른 다양성 차이를 탐지할 수 있는지 평가하는 것.
• 다양성 기대치가 발언행위에 따라 달라져야 한다는 점을 보여주며, 향후 대화 모델 평가 및 생성 전략을 안내하는 것.

제안 방법

• 저자들은 인간 레이블링과 자동 예측이 모두 이루어진 다중 응답 대화 데이터셋(DailyDialog++)을 분석한다.
• 다양한 발언행위 유형에 걸쳐 응답 집합에 대해 자동 다양성 지표—특히 NLI Diversity와 Sentence-BERT 기반 다양성—을 계산한다.
• 창작자들이 대화 프롬프트가 얼마나 다양한 응답을 유도할 수 있는지 5점 척도로 평가하는 새로운 인간 평가 작업을 설계한다.
• 작가들의 평가를 자동 지표와 발언행위 유형과 비교하여 PA Diversity 개념의 타당성을 검증한다.
• 통계적 분석을 통해 PA Diversity 점수가 발언행위 카테고리 간에 유의미하게 다름을 테스트한다.
• PA Diversity가 모델 평가 및 생성 전략을 안내하는 데 어떻게 활용될 수 있는지 탐색하며, 저PA-Diversity 대화에 대한 규칙 기반 시스템 제안

Figure 2: NLI Diversity (top) and Sent-BERT (bottom) for responses categorized by most-recent speech act utterance (higher values indicate more diverse, ordered by diversity). Mean values are indicated by the white circle and corresponding text label. Box-and-whisker plots show the interquartile ran

실험 결과

연구 질문

• RQ1 대화에서 가장 최근의 발언행위가 실용적으로 적절한 응답의 다양성에 제약을 가하는가?
• RQ2 자동 다양성 지표가 발언행위 유형에 따른 응답 다양성의 차이를 탐지할 수 있는가?
• RQ3 창작자들의 인간 평가가 대화의 실용적으로 적절한 다양성과 일치하는가?
• RQ4 NLI Diversity가 Sentence-BERT보다 발언행위 기반 다양성 차이를 탐지하는 데 더 효과적인가?
• RQ5 PA Diversity는 대화 모델 평가 및 생성 전략을 안내하는 데 사용될 수 있는가?

주요 결과

• 가장 최근의 발언행위가 적절한 응답의 다양성에 유의미한 제약을 가하며, 질문은 사과나 종료보다 더 높은 다양성을 허용한다.
• 자동 다양성 지표, 특히 NLI Diversity는 발언행위 유형 간 응답 다양성의 의미 있는 차이를 탐지한다.
• 창작자들이 평가한 응답 다양성은 PA Diversity 가설과 유의미한 상관관계를 보이며, 이는 그 타당성을 지지한다.
• NLI Diversity는 문맥적 다양성의 변화에 민감하여, Sentence-BERT보다 발언행위 기반 다양성 수준의 차이를 더 잘 구분함을 확인한다.
• 연구는 모든 대화가 응답 가능성의 면에서 동일하게 다양하지 않으며, 다양성 기대치는 발언행위에 따라 맥락적으로 조정되어야 한다는 점을 드러낸다.
• 일부 창작자는 일관되게 모든 대화에 높은 점수를 매겨, 창의적 잠재력에 대한 개인적 인식 차이가 있음을 보여주며, 맥락 인식 평가의 필요성을 강조한다.