[논문 리뷰] "Nice Try, Kiddo": Ad Hominems in Dialogue Systems.

Emily Sheng, Kai-Wei Chang외 2명|arXiv (Cornell University)|2020. 10. 26.

Hate Speech and Cyberbullying Detection참고 문헌 34인용 수 4

한 줄 요약

이 논문은 #BlackLivesMatter, #MeToo와 같은 소수자 집단을 다루는 트위터 논의와 #Vegan, #WFH와 같은 다른 주제에 대해 인간 및 대화 시스템 응답에서 비례적 공격(Ad hominem)을 식별하고 분류한다. DialoGPT와 같은 모델에서의 비례적 공격 생성을 줄이기 위해 주요 n-gram 유사도를 활용한 제약 있는 디코딩 방법을 제안하며, 훈련 데이터 구성과 디코딩 제약 조건이 유해 응답을 크게 감소시킨다는 것을 보여준다.

ABSTRACT

Ad hominem attacks are those that attack some feature of a person's character instead of the position the person is maintaining. As a form of toxic and abusive language, ad hominems contain harmful language that could further amplify the skew of power inequality for marginalized populations. Since dialogue systems are designed to respond directly to user input, it is important to study ad hominems in these system responses. In this work, we propose categories of ad hominems that allow us to analyze human and dialogue system responses to Twitter posts. We specifically compare responses to Twitter posts about marginalized communities (#BlackLivesMatter, #MeToo) and other topics (#Vegan, #WFH). Furthermore, we propose a constrained decoding technique that uses salient $n$-gram similarity to apply soft constraints to top-$k$ sampling and can decrease the amount of ad hominems generated by dialogue systems. Our results indicate that 1) responses composed by both humans and DialoGPT contain more ad hominems for discussions around marginalized communities versus other topics, 2) different amounts of ad hominems in the training data can influence the likelihood of the model generating ad hominems, and 3) we can thus carefully choose training data and use constrained decoding techniques to decrease the amount of ad hominems generated by dialogue systems.

연구 동기 및 목표

• 소수자 집단을 둘러싼 논의에 대해 인간 및 모델이 생성한 응답에서 비례적 공격의 빈도를 분석한다.
• 훈련 데이터 구성이 대화 시스템이 비례적 공격을 생성할 가능성을 어떻게 영향을 미치는지 규명한다.
• 입력에 대한 주요 n-gram 유사도를 기반으로 하여 top-k 샘플링에 소프트 제약을 적용하는 제약 있는 디코딩 기법을 개발하여 대화 시스템에서의 비례적 공격 생성을 줄인다.
• 특히 소수자 정체성과 관련된 주제들과 비교하여 다양한 주제에서 비례적 공격의 빈도를 비교한다.
• top-k 샘플링을 통한 소프트 제약가 비유해 언어의 생성을 효과적으로 억제할 수 있는지 평가한다.

제안 방법

• 사전 정의된 언어적 및 맥락 기준을 사용하여 인간 및 모델 응답의 비례적 공격을 분류한다.
• 비교 분석을 위해 #BlackLivesMatter, #MeToo, #Vegan, #WFH 주변의 트위터 게시글과 응답을 수집하고 주석을 붙인다.
• 입력에 대한 주요 n-gram 유사도를 기반으로 top-k 샘플링에 소프트 제약을 적용하는 제약 있는 디코딩 기법을 구현한다.
• 비례적 공격을 유발할 가능성이 높은 응답 토큰을 보상 감소 또는 억제하기 위해 n-gram 유사도 점수를 활용한다.
• 비례적 공격 내용 비율을 다양하게 조절한 정제된 훈련 데이터로 DialoGPT를 미세조정하여 모델 행동을 평가한다.
• 자동 평가 지표와 인간 평가를 병행하여 비례적 공격 생성 감소 정도를 측정한다.

실험 결과

연구 질문

• RQ1 대화 시스템은 소수자 집단을 둘러싼 논의에 대해 비소수자 주제보다 더 많은 비례적 공격을 생성하는가?
• RQ2 훈련 데이터에 포함된 비례적 공격의 비율이 모델이 유사한 공격을 생성할 가능성을 어떻게 영향을 미치는가?
• RQ3 입력에 대한 주요 n-gram 유사도를 활용한 제약 있는 디코딩이 대화 시스템에서 비례적 공격 생성을 효과적으로 줄일 수 있는가?
• RQ4 인간의 응답은 소수자 집단을 둘러싼 논의에서 비소수자 주제보다 더 많은 비례적 공격을 포함할 가능성이 높은가?
• RQ5 데이터 정제와 디코딩 제약 조건을 통해 모델 행동을 얼마나 효과적으로 더 유해하지 않은 응답으로 이끌 수 있는가?

주요 결과

• 인간 및 DialoGPT 응답은 #BlackLivesMatter와 #MeToo 논의에서 #Vegan과 #WFH 논의보다 유의미하게 더 많은 비례적 공격을 포함한다.
• 비례적 공격 비율이 높은 훈련 데이터를 사용할수록 모델가 비슷한 공격을 생성할 가능성이 높아진다.
• 제안된 제약 있는 디코딩 방법은 주요 n-gram 유사도를 기반으로 하여 top-k 샘플링에 소프트 제약을 적용함으로써 비례적 공격 생성을 감소시킨다.
• 이 방법은 응답의 유창성이나 일관성에 손상 없이 비유해 언어를 효과적으로 억제한다.
• 모델 행동은 훈련 데이터 구성에 민감하여, 데이터 정제를 통해 해로운 출력을 완화시킬 수 있음을 시사한다.
• 인간과 모델 응답 모두 소수자 정체성을 포함한 논의에서 체계적인 비례적 공격 경향을 보인다.