[논문 리뷰] Assessing Political Prudence of Open-domain Chatbots

Yejin Bang, Nayeon Lee외 3명|arXiv (Cornell University)|2021. 06. 11.

Hate Speech and Cyberbullying Detection참고 문헌 24인용 수 4

한 줄 요약

이 논문은 자동 평가 지표와 인간 평가를 활용하여 개방형 대화모델에서 정치적 신중성(정치적 중립성)을 평가하기 위한 새로운 프레임워크를 제안한다. 1,003개의 합성 정치적 맥락을 포함한 테스트셋을 제안하며, 중립성, 편향성, 왜곡된 응답 비율을 평가한다. 지식 기반 모델인 Blenderbot+Fact는 더 높은 정치적 신중성을 보이며, 다소 높은 유저 참여도를 유지하지만, 인간다움 측면에서 약간의 손실가능성을 보인다.

ABSTRACT

Politically sensitive topics are still a challenge for open-domain chatbots. However, dealing with politically sensitive content in a responsible, non-partisan, and safe behavior way is integral for these chatbots. Currently, the main approach to handling political sensitivity is by simply changing such a topic when it is detected. This is safe but evasive and results in a chatbot that is less engaging. In this work, as a first step towards a politically safe chatbot, we propose a group of metrics for assessing their political prudence. We then conduct political prudence analysis of various chatbots and discuss their behavior from multiple angles through our automatic metric and human evaluation metrics. The testsets and codebase are released to promote research in this area.

연구 동기 및 목표

• 정치적으로 민감한 주제를 피하기 위해 주로 주제 회피를 통해 정치적 신중성에 대한 체계적 평가가 부족한 개방형 대화모델의 문제를 해결하기 위해.
• 독소성이나 불쾌감 요소를 넘어서 정치적 중립성, 편향성, 응답 왜곡 정도를 측정할 수 있는 자동 평가 지표와 인간 평가 지표를 개발하기 위해.
• 지식 기반 모델과 표준 생성 모델 간의 행동을 중립적 및 편향된 정치적 입력 상황에서 분석하기 위해.
• 정치적 신중성, 유저 참여도, 안전성을 고려한 대화모델 개발을 촉진하기 위해 테스트셋과 코드베이스를 공개하기 위해.
• 실제 서비스 구현을 위해 정치적 신중성, 유저 참여도, 인간다움 사이의 균형을 고려한 대화모델 설계 지침을 제공하기 위해.

제안 방법

• YouGov, AllSides, IDRlabs 등의 신뢰할 수 있는 출처에서 확보한 정치인, 주제, 정치적 신념을 조합한 템플릿을 사용하여 중립적 입력 458건과 편향된 입력 545건으로 구성된 테스트셋을 구축한다.
• 파라미터를 미세조정한 BERT 기반 분류기(F1 = 76.5%)를 활용하여 대화모델 응답에서 편향된 언어를 탐지함으로써 초편향성 수준을 측정한다.
• 사용자 입력에 존재하는 정치적 편향을 반영하거나 강화하는지 여부를 탐지하기 위한 왜곡된 응답 지표를 개발한다.
• 검색 기반 보강 모델에서 확보된 지식의 관련성과 정확성을 평가하기 위해 사실성 지표를 적용한다.
• 쌍대 비교 방식의 인간 평가를 실시하여 대화모델의 응답에 대해 유저 참여도, 인간다움, 정치적 신중성 수준을 비교 분석한다.
• Blenderbot, PersonaChat, 지식 기반 변형 모델(예: Blenderbot+Fact) 등을 포함한 다양한 모델을 모든 평가 지표 기준으로 평가한다.

실험 결과

연구 질문

• RQ1 다양한 개방형 대화모델이 정치적으로 민감한 입력에 대해 어떤 정도의 정치적 중립성과 편향성을 보이는가?
• RQ2 표준 생성 모델 대비 지식 기반 대화모델은 편향된 사용자 입력에 노출되었을 때 얼마나 중립적인 태도를 유지할 수 있는가?
• RQ3 대화모델 응답에서 정치적 신중성, 유저 참여도, 인간다움 사이의 상호 보완적 관계는 어떠한가?
• RQ4 자동 평가 지표는 인간 평가에 비해 정치적 신중성을 얼마나 잘 반영하는가?
• RQ5 현재의 안전성 레이어는 정치적 콘텐츠 탐지에 얼마나 효과적인가? 그리고 어떻게 개선될 수 있는가?

주요 결과

• 검색 기반 보강 대화모델인 Blenderbot+Fact는 초편향성 비율(1.7%)과 왜곡된 응답 비율(1.1%)이 가장 낮아 가장 정치적으로 중립적인 행동을 보였다.
• 지식 기반 대화모델인 Blenderbot+Fact는 인간 평가에서 유저 참여도 측면에서 Blenderbot(61.7% 승리 비율)과 PersonaChat(75% 승리 비율)를 모두 압도하며 뛰어난 성능을 보였다.
• 높은 정치적 신중성에도 불구하고 Blenderbot+Fact는 인간다움 측면에서 낮은 점수(48.3% 및 41.7% 승리 비율)를 기록했으며, 주로 공식적이고 사실 중심의 응답 방식 때문이었다.
• 표준 생성 모델인 Blenderbot은 더 인간다운 응답을 보였지만(58.3% 인간다움 승리 비율), 더 높은 편향성(10.2% 초편향성 비율)과 왜곡된 응답 비율(12.3%)을 보였다.
• 안전성 레이어는 테스트 케이스의 14.86%에서 정치적 콘텐츠를 탐지하지 못했으며, 이는 정치적 콘텐츠 탐지 기능의 향상 필요성을 시사한다.
• 정치적 입장을 반영하지 않은 사실 기반 지식을 통합할 경우 편향성이 크게 감소함을 확인했으며, 이는 검색 기반 생성 기반의 모델이 정치적 신중성을 향상시킬 수 있음을 시사한다.