[논문 리뷰] ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI

Amanda Cercas Curry, Gavin Abercrombie외 1명|arXiv (Cornell University)|2021. 09. 20.

Hate Speech and Cyberbullying Detection참고 문헌 30인용 수 5

한 줄 요약

이 논문은 세 종류의 별개의 AI 봇과의 실제 상호작용에서 수집한, 대화형 AI 시스템을 향한 폭력적 언어를 담은 공개된 영문 코퍼스인 ConvAbuse를 소개한다. 이는 처음으로 제안된 것으로, 폭력적 언어의 성격을 세밀하게 분류하는 체계를 제시하고, 그 중 절반 이상이 성적으로 연루되거나 성차별적인 성향을 띠고 있음을 드러내며, 기존 모델들을 벤치마킹하여 F1 스코어가 90% 미만임을 확인함으로써 AI-사용자 상호작용에서의 폭력 탐지 기술 향상 여지가 크다는 점을 시사한다.

ABSTRACT

We present the first English corpus study on abusive language towards three conversational AI systems gathered "in the wild": an open-domain social bot, a rule-based chatbot, and a task-based system. To account for the complexity of the task, we take a more `nuanced' approach where our ConvAI dataset reflects fine-grained notions of abuse, as well as views from multiple expert annotators. We find that the distribution of abuse is vastly different compared to other commonly used datasets, with more sexually tinted aggression towards the virtual persona of these systems. Finally, we report results from bench-marking existing models against this data. Unsurprisingly, we find that there is substantial room for improvement with F1 scores below 90%.

연구 동기 및 목표

• 인간-AI 대화에서 폭력 탐지에 대한 실제 세계적이고 공개 가능한 데이터셋의 부족을 해결하기 위해.
• 여성 성격을 지닌 대화형 AI 시스템을 향한 폭력의 성격과 분포를 조사하기 위해.
• 성별화된 및 성적으로 연루된 공격성과 같은 세밀한 폭력 형태를 포괄하는 세분화된 분류 체계를 개발하기 위해.
• 기존 폭력 탐지 모델의 성능 격차를 평가하기 위해 실제 인간-AI 상호작용 데이터를 기반으로 모델을 벤치마킹하기 위해.
• 전문가가 분류한 데이터를 공개하고 다양한 분류자 관점의 중요성을 홍보함으로써 윤리적이고 대표적인 폭력 탐지 기술을 촉진하기 위해.

제안 방법

• 오픈 도메인 사회적 봇, 규칙 기반 챗봇, 작업 기반 어시스턴트의 세 가지 실제 대화형 AI 시스템에서 20,000개의 사용자 발화를 수집하였다.
• 전문 분류자들이 참여하는 다단계 분류 체계를 설계하여 폭력의 심각도, 의도, 형태(예: 성적으로 연루된, 성차별적인, 일반적인 공격성 등) 등의 차원에서 폭력을 분류하였다.
• 상호 분류자 간 일致도 검사를 통한 공감대 기반 레이블링 절차를 사용하여 신뢰성과 다양한 시각을 확보하였다.
• 4,000개의 분류된 예시와 모든 코드를 공개하여 재현 가능성과 향후 연구를 지원하였다.
• 표준 평가 지표인 F1을 사용하여 최신 폭력 탐지 모델(BERT 기반 분류기 등)을 ConvAbuse 데이터셋에서 벤치마킹하였다.
• 폭력 패턴을 탐색하기 위해 정성적 분석을 수행하였으며, 특히 AI 캐릭터를 향한 성별화된 및 성적으로 연루된 언어의 빈도를 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 대화형 AI 시스템을 향한 폭력의 분포가 소셜 미디어 데이터셋에서 관찰된 바와 어떻게 다를까?
• RQ2 여성 성격을 지닌 AI 시스템을 향한 폭력의 주요 형태는 무엇이며, 이는 성차별적 성향을 지닌 사회적 패tern을 어떻게 반영하는가?
• RQ3 기존 폭력 탐지 모델이 실제 인간-AI 상호작용 데이터에 일반화되는 정도는 어느 정도이며, 어디서 실패하는가?
• RQ4 분류 과정에 다수의 전문가 시각을 통합함으로써 폭력 탐지 데이터셋의 신뢰성과 세밀함은 어떻게 향상되는가?
• RQ5 인간-AI 상호작용에서 폭력의 분류 및 모델링 과정에서 발생하는 윤리적 및 대표성 문제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• ConvAbuse 데이터셋의 폭력적 발화 중 절반 이상이 성차별성 또는 성적 괴롭힘 요소를 포함하고 있어, AI를 향한 폭력의 강력한 성별적 성격을 시사한다.
• 대화형 AI에서의 폭력 분포는 소셜 미디어 데이터셋과는 상당히 다르며, 성별화된 및 성적으로 연루된 공격성이 더 높은 비율로 나타난다.
• 기존 폭력 탐지 모델은 ConvAbuse 데이터셋에서 F1 스코어가 90% 이하에 머물러 있어, 세밀한 폭력 형태 탐지의 향상 여지가 크다는 것을 시사한다.
• 분류 과정에서 발화자 인구통계학적 특성(특히 성별 및 인종)에 대한 가정이 레이블링 결과에 상당한 영향을 미치는 것으로 드러나, 다양한 분류자 풀이 필요함을 시사한다.
• 기존 많은 데이터셋과 비교해 본문 데이터셋은 더 높은 다양성을 지니고 있어, 소수의 활동적인 폭력 행위자로부터 비롯된 편향의 위험을 줄였다.
• 데이터 수집 및 분류 과정에서 윤리적 과제가 드러났으며, 이는 분류자들의 정신 건강 위험과 비감정적 존재를 향한 폭력의 도덕적 모호성 등이 포함된다. 저자들은 투명하고 윤리적인 데이터 관행을 통해 이를 해결하였다.