[논문 리뷰] Why So Toxic? Measuring and Triggering Toxic Behavior in Open-Domain Chatbots

Wai Man Si, Michael Backes외 5명|arXiv (Cornell University)|2022. 09. 07.

Spam and Phishing Detection인용 수 7

한 줄 요약

이 논문은 GPT-2 기반의 공격인 ToxicBuddy를 소개하며, 비독성 쿼리를 생성하여 개방형 대화 챗봇에서 독성 응답을 유도하는 방식을 제시한다. 비록 입력이 유해하지 않더라도 유해한 응답을 유도할 수 있음을 입증하였으며, 폐쇄형 환경에서는 최대 23.47%의 성공률, 개방형 환경에서는 10.7%의 성공률를 기록하여 챗봇 안전성에 심각한 취약점을 드러낸다.

ABSTRACT

Chatbots are used in many applications, e.g., automated agents, smart home assistants, interactive characters in online games, etc. Therefore, it is crucial to ensure they do not behave in undesired manners, providing offensive or toxic responses to users. This is not a trivial task as state-of-the-art chatbot models are trained on large, public datasets openly collected from the Internet. This paper presents a first-of-its-kind, large-scale measurement of toxicity in chatbots. We show that publicly available chatbots are prone to providing toxic responses when fed toxic queries. Even more worryingly, some non-toxic queries can trigger toxic responses too. We then set out to design and experiment with an attack, ToxicBuddy, which relies on fine-tuning GPT-2 to generate non-toxic queries that make chatbots respond in a toxic manner. Our extensive experimental evaluation demonstrates that our attack is effective against public chatbot models and outperforms manually-crafted malicious queries proposed by previous work. We also evaluate three defense mechanisms against ToxicBuddy, showing that they either reduce the attack performance at the cost of affecting the chatbot's utility or are only effective at mitigating a portion of the attack. This highlights the need for more research from the computer security and online safety communities to ensure that chatbot models do not hurt their users. Overall, we are confident that ToxicBuddy can be used as an auditing tool and that our work will pave the way toward designing more effective defenses for chatbot safety.

연구 동기 및 목표

• 독성 또는 비독성 쿼리를 사용할 때 개방형 대화 챗봇이 얼마나 독성 응답을 생성하는지 조사하기 위해.
• 현행 최첨단 챗봇에서 비록 본질적으로 유해하지 않은 것으로 보이는 쿼리가 독성 행동을 유도할 수 있는지 확인하기 위해.
• 비독성 쿼리를 최대한으로 유도하여 독성 응답을 유도하는 자동화된 공격인 ToxicBuddy를 개발하고 평가하기 위해.
• 기존의 방어 기법들이 이러한 대비 공격에 얼마나 효과적인지 평가하기 위해.
• 채팅봇 배포 시 더 나은 안전성 평가 및 방어 전략이 절실한 이유를 부각하기 위해.

제안 방법

• BlenderBot (소형) 및 TwitterBot에서 이전 측정에서 비독성 쿼리가 독성 응답을 유도한 바를 바탕으로 보조 데이터셋을 구축하였다.
• 이 보조 데이터셋을 기반으로 GPT-2 모델을 미세조정하여 독성 응답을 유도하도록 설계된 새로운 비독성 쿼리를 생성하도록 하였다.
• 공격을 폐쇄형 환경(측정 시 사용된 동일한 모델)과 개방형 환경(알려지지 않은 모델)에서 평가하였다.
• 쿼리 임베딩에 삼중어(트리그램) 접두어와 클러스터링 기법을 통합하여 유도 가능성 확률을 높였다.
• 입력의 비독성 여부를 보장하기 위해 Google의 Perspective API를 사용하여 쿼리와 응답의 독성 수준을 평가하였다.
• 다양한 공개 챗봇 모델들(BlenderBot (중형, 대형), DialoGPT, 원본 모델들) 간 공격 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 개방형 대화 챗봇에서 독성 응답을 유도할 가능성이 가장 높은 쿼리 유형은 무엇인가?
• RQ2 현행 최첨단 챗봇에서 비록 본질적으로 유해하지 않은 것으로 보이는 쿼리가 독성 응답을 유도할 수 있는가?
• RQ3 자동화된 공격이 비독성 쿼리를 생성하여 알려지지 않은 챗봇 모델에서 신뢰성 있게 독성 응답을 유도할 수 있는가?
• RQ4 기존의 방어 기법들은 이러한 공격을 얼마나 효과적으로 완화하는가?
• RQ5 이러한 공격은 민감한 애플리케이션에 배포된 챗봇의 안전성에 어떤 영향을 미치는가?

주요 결과

• 4chan 데이터셋 입력을 사용했을 때, BlenderBot (소형) 및 TwitterBot의 약 8%의 응답이 독성이었다.
• BlenderBot (소형)의 5.21%의 독성 응답은 4chan의 /pol/ 게시판에서 온 비독성 쿼리에 의해 유도되었다.
• 폐쇄형 평가에서 ToxicBuddy는 TwitterBot에서 비독성-독성(NT2T) 공격 성공률 23.47%를 기록하였다.
• 개방형 환경에서 ToxicBuddy는 DialoGPT에서 10.7%의 경우, BlenderBot (대형)에서 10.57%, BlenderBot (중형)에서 4.03%의 경우에 독성 응답을 유도하였다.
• 삼중어 접두어와 클러스터링 기법을 통한 개선으로, DialoGPT에서 공격 성공률가 10.7%로, BlenderBot (대형)에서는 10.57%로 상승하였다.
• 기존의 방어 기법들은 모델의 기능을 떨어뜨리거나 공격을 완전히 완화하지 못하여, 더 강력한 방어 전략이 필요함을 시사한다.