[논문 리뷰] ToKen: Task Decomposition and Knowledge Infusion for Few-Shot Hate Speech Detection

Badr AlKhamissi, Faisal Ladhak외 8명|arXiv (Cornell University)|2022. 05. 25.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 희소한 샘플에서 혐오 발언을 탐지하는 데 초점을 맞춘 TOKEN을 제안한다. 이 방법은 작업을 하위 작업(공격성, 대상 집단 탐지)으로 분해하고, ATOMIC²⁰와 StereoSet에서의 미세조정을 통해 일반 지식을 통합한다. 16-샷 설정에서 기준 모델 대비 절대 F1 점수 17.83% 향상되며, 분포 외 데이터셋과 훈련 변형에 대해 더 뛰어난 일반화 및 강건성을 보인다.

ABSTRACT

Hate speech detection is complex; it relies on commonsense reasoning, knowledge of stereotypes, and an understanding of social nuance that differs from one culture to the next. It is also difficult to collect a large-scale hate speech annotated dataset. In this work, we frame this problem as a few-shot learning task, and show significant gains with decomposing the task into its "constituent" parts. In addition, we see that infusing knowledge from reasoning datasets (e.g. Atomic2020) improves the performance even further. Moreover, we observe that the trained models generalize to out-of-distribution datasets, showing the superiority of task decomposition and knowledge infusion compared to previously used methods. Concretely, our method outperforms the baseline by 17.83% absolute gain in the 16-shot case.

연구 동기 및 목표

• 라벨이 부족한 환경에서 모델이 일반화하지 못하는 문제를 해결하기 위해 희소한 샘플에서 혐오 발언 탐지 문제를 다루는 것.
• 공격성과 집단 대상 탐지라는 해석 가능한 하위 작업으로 혐오 발언 탐지 작업을 분해하여 모델 성능과 강건성을 향상시키는 것.
• ATOMIC²⁰와 StereoSet에서의 사전 미세조정을 통해 일반 지식과 스테레오타입 지식을 통합하여 모델의 추론 능력을 향상시키는 것.
• 분포 외 데이터셋에 대한 일반화 능력과 데이터 분할 및 하이퍼파라미터 변동에 대한 강건성을 평가하는 것.
• 하위 작업 수준에서 실패 원인을 분리하고 개별적으로 개선할 수 있도록 하여 더 설명 가능한 시스템을 만드는 것.

제안 방법

• 모델은 혐오 발언 탐지 작업을 두 개의 하위 작업으로 분해한다: 게시물이 공격적인지 분류하고, 특정 집단이 대상이 되었는지 확인한다.
• BART-Large 모델은 일반 지식 추론을 위해 ATOMIC²⁰ 데이터셋에서 사전 미세조정하고, 사회적 스테레오타입에 대한 이해를 향상시키기 위해 StereoSet에서 사전 미세조정한다.
• 최종 모델은 하위 작업 전용 헤드를 사용하는 조건부 생성 프레임워크를 통해 SBIC 데이터셋에서 엔드 투 엔드 학습을 수행한다.
• 성능 평가는 10개의 랜덤 시드에서 평가되며, 16개에서 1024개 예시까지의 희소한 훈련 세트를 분류 기반으로 샘플링한다.
• 일반화 능력은 세 개의 분포 외 혐오 발언 데이터셋에서 테스트하고, 강건성은 시드, 데이터 분할, 하이퍼파라미터 변동에 따른 분산을 측정하여 평가한다.
• 하위 작업 수준의 성능를 분리함으로써 모델의 해석 가능성을 높여, 특정 개선을 위한 목표 지정이 가능하게 한다.

실험 결과

연구 질문

• RQ1 공격성과 집단 대상 탐지 하위 작업으로 작업을 분해하면 희소한 샘플에서 혐오 발언 탐지 성능이 향상되는가?
• RQ2 ATOMIC²⁰와 StereoSet와 같은 추론 및 스테레오타입 지식 데이터셋에서의 사전 미세조정이 희소한 설정에서 모델 성능을 향상시키는가?
• RQ3 작업 분해를 통해 학습된 모델는 엔드 투 엔드 이진 분류 기반 모델 대비 분포 외 혐오 발언 데이터셋으로의 일반화 능력이 뛰어나게 되는가?
• RQ4 작업 분해와 지식 통합을 사용할 경우, 랜덤 시드, 데이터 분할, 하이퍼파라미터에 따른 모델 성능의 분산은 어떻게 변화하는가?
• RQ5 하위 작업 수준 분석을 통해 실패 원인을 식별하고 전체 혐오 발언 탐지 성능 향상을 위한 목표 지정이 가능한가?

주요 결과

• TOKEN은 16-샷 설정에서 기준 모델 대비 절대 F1 점수 17.83% 향상되어, 작업 분해와 지식 통합이 가져오는 뚜렷한 성능 향상을 입증한다.
• 세 개의 분포 외 혐오 발언 데이터셋에 대해 더 나은 일반화 능력을 보이며, 향상된 강건성과 이식성(transferability)을 나타낸다.
• 10개의 시드, 데이터 파artitions, 하이퍼파라미터에 따른 성능 분산이 TOKEN 모델에서 유의미하게 낮아, 더 높은 강건성을 보여준다.
• 하위 작업 수준 분석을 통해 집단 탐지와 같은 특정 병목 현상을 집중적으로 개선하면 전체 모델 성능 향상이 측정 가능하게 된다.
• ATOMIC²⁰와 StereoSet에서의 미세조정은 추론 능력과 스테레오타입 이해를 향상시키며, 이는 직접적으로 혐오 발언 탐지 성능 향상에 기여한다.
• 하위 작업 수준에서의 실패 분석을 가능하게 하여, 더 설명 가능하고 수정 가능한 모델 행동으로 나아가는 데 기여한다.