[논문 리뷰] "Unsex me here": Revisiting Sexism Detection Using Psychological Scales and Adversarial Samples.

Mattia Samory, Indira Sen외 3명|arXiv (Cornell University)|2020. 04. 27.

Hate Speech and Cyberbullying Detection참고 문헌 35인용 수 4

한 줄 요약

이 논문은 심리학적 척도와 적대적 샘플을 활용하여 이론 기반의 코드북을 제안하며, 다양한 데이터셋에서 성차별 탐지 방법을 평가한다. 기존 모델들이 명백한 성차별 외에는 일반화하지 못하는 것으로 드러나며, NLP 시스템의 탐지 정확성과 포괄성을 향상시키기 위해 보다 넓고 이론에 기반한 접근이 필요하다는 점을 시사한다.

ABSTRACT

To effectively tackle sexism online, research has focused on automated methods for detecting sexism. In this paper, we use items from psychological scales and adversarial sample generation to 1) provide a codebook for different types of sexism in theory-driven scales and in social media text; 2) test the performance of different sexism detection methods across multiple data sets; 3) provide an overview of strategies employed by humans to remove sexism through minimal changes. Results highlight that current methods seem inadequate in detecting all but the most blatant forms of sexism and do not generalize well to out-of-domain examples. By providing a scale-based codebook for sexism and insights into what makes a statement sexist, we hope to contribute to the development of better and broader models for sexism detection, including reflections on theory-driven approaches to data collection.

연구 동기 및 목표

• 기존 성차별 이론에 기반하여 사회 미디어 텍스트에서 실제 성차별 표현과 심리학적 척도 항목을 연결하는 종합적인 코드북을 개발하는 것.
• 다양한 데이터셋에서 기존 성차별 탐지 모델의 성능을 평가하여 그 견고성과 일반화 능력을 분석하는 것.
• 성차별을 제거하기 위해 최소한의 인간 간섭을 통해 적용된 언어적 변화를 분석하여, 텍스트 변경 최소화로 성차별을 중립화하는 데 사용된 언어 패턴과 전략을 규명하는 것.
• 현재 탐지 방법의 격차, 특히 미묘하거나 맥락에 따라 달라지는 성차별 형태를 포착하지 못하는 점을 규명하는 것.
• 자동화된 성차별 탐지 시스템의 범위와 공정성을 향상시키기 위해 이론 기반의 데이터 수집 및 모델 개발을 촉진하는 것.

제안 방법

• 적대적 샘플을 생성하기 위해 성차별 탐지 모델의 견고성과 취약점을 테스트하기 위해, 성차별 문장에 최소한의 목표 지향적 언어적 변경을 가한 후, 기존 심리학적 척도에서 유래한 항목을 수정하여 사회 미디어 텍스트의 성차별 콘텐츠를 레이블링하기 위한 체계적인 코드북을 구축한 것.
• 기존 성차별 탐지 모델의 성능을 다수의 데이터셋에서 평가하여 도메인 내 및 도메인 외 예시에서의 성능을 비교한 것.
• 성차별 문장을 수정한 인간 레이블러의 편집을 분석하여, 성차별을 중화하는 데 공통적으로 사용되는 전략(예: 어조 재구성, 성별에 기반한 전제 제거, 스테레오타입 어휘 교체 등)을 도출한 것.
• 심리학 이론에서 유래한 이론적 개념(예: 성 역할 스테레오타입, 성적 객체화)을 실제 텍스트의 언어적 특징과 연결하기 위해 코드북을 활용한 것.
• 심리학 이론의 통찰을 NLP 데이터 수집 및 모델 평가에 통합하여 표현의 다양성과 공정성을 향상시킨 것.

실험 결과

연구 질문

• RQ1 심리학적 척도 항목은 사회 미디어 텍스트에서 실제 성차별 표현과 어떻게 대응되는가?
• RQ2 현재 자동화된 성차별 탐지 모델은 다양한 데이터셋과 맥락 간에 어느 정도 일반화되는가?
• RQ3 사람들이 성차별을 제거하기 위해 적용하는 최소한의 언어적 변화는 무엇이며, 이러한 변화는 성차별 언어의 본질을 어떻게 드러내는가?
• RQ4 적대적 샘플은 기존 성차별 탐지 모델의 약점을 어떻게 드러내는가?
• RQ5 이론 기반 접근은 성차별 탐지 시스템의 설계 및 평가를 어떻게 향상시킬 수 있는가?

주요 결과

• 현재 성차별 탐지 모델들은 미묘하거나 맥락적으로 내재된 형태의 성차별을 탐지하는 데 어려움을 겪으며, 명백한 적대적 또는 명시적인 문장에서만 가장 잘 작동한다.
• 모델들은 도메인 외부 데이터에 대해 일반화 능력이 떨어져, 다양한 소셜 미디어 맥락이나 언어 스타일 간의 견고성이 떨어지는 것으로 나타났다.
• 적대적 샘플 분석을 통해 성차별 문장에 소량의 의미적 변화를 가하면 종종 탐지에서 빠지게 되어, 모델의 취약성을 드러냈다.
• 사람들이 성차별을 제거하는 데 주로 사용하는 전략은 성별에 기반한 스테레오타입을 교체하거나, 권력 관계를 재구성하거나, 성적 객체화 어휘를 제거하는 것이며, 이는 이러한 특징들이 탐지에 핵심적임을 시사한다.
• 심리학적 척도에서 유래한 코드북은 이론적 성차별 개념을 실제 텍스트의 언어 패턴과 성공적으로 연결하였으며, 데이터 레이블링에 재현 가능한 프레임워크를 제공한다.
• 온라인 콘텐츠에서 다양한 미묘한 형태의 성차별을 탐지하기 위해 이론에 기반한 데이터 수집 및 모델 설계가 명백히 필요하다.