[논문 리뷰] Stop Illegal Comments: A Multi-Task Deep Learning Approach

Ahmed Elnaggar, Bernhard Waltl외 4명|arXiv (Cornell University)|2018. 10. 15.

Hate Speech and Cyberbullying Detection참고 문헌 10인용 수 6

한 줄 요약

이 논문은 카글 톡스틱 코멘트 데이터셋에서 전이 학습을 활용한 다중 작업 딥 러닝 접근법을 제안하여 불법 코멘트를 분류한다. 텍스트 분류와 보조 작업을 함께 훈련시킴으로써, 제한된 레이블이 있는 데이터에서 성능을 향상시켜 법적 도메인의 데이터 부족 문제에도 불구하고 강력한 성능을 달성한다.

ABSTRACT

Deep learning methods are often difficult to apply in the legal domain due to the large amount of labeled data required by deep learning methods. A recent new trend in the deep learning community is the application of multi-task models that enable single deep neural networks to perform more than one task at the same time, for example classification and translation tasks. These powerful novel models are capable of transferring knowledge among different tasks or training sets and therefore could open up the legal domain for many deep learning applications. In this paper, we investigate the transfer learning capabilities of such a multi-task model on a classification task on the publicly available Kaggle toxic comment dataset for classifying illegal comments and we can report promising results.

연구 동기 및 목표

• 다중 작업 학습을 활용하여 법적 텍스트 분류에서 제한된 레이블 데이터 문제를 해결한다.
• 다양한 작업 간 전이 학습이 불법 코멘트 탐지 성능에 기여하는지 탐색한다.
• 비용이 많이 드는 레이블링이 요구되는 법적 도메인에 다중 작업 딥 러닝 적용의 가능성을 조사한다.
• 공유 표현이 독성 코멘트 분류의 일반화 능력을 향상시키는 데 기여하는지 평가한다.
• 다중 작업 모델이 저자원 법적 NLP 응용에서 단일 작업 기반 모델보다 우수한 성능을 보임을 입증한다.

제안 방법

• 입력 코멘트에서 문맥적 표현을 추출하기 위해 공유 인코더 아키텍처를 사용한다.
• 주 작업(독성 코멘트 분류)과 하나 이상의 보조 작업(예: 감성 분석 또는 텍스트 재구성)을 함께 훈련한다.
• GloVe와 같은 사전 훈련된 워드 임베딩을 사용하여 모델을 초기화함으로써 전이 학습을 적용한다.
• 각 목표에 대해 공유 표현 레이어 이후에 작업별 분류기 구조를 사용한다.
• 목표들을 균형 있게 조정하는 복합 손실 함수를 사용하여 모델을 종합적으로 최적화한다.
• 다양한 유형의 독성에 대한 레이블이 포함된 카글 톡스틱 코멘트 데이터셋에서 모델을 피지컬 튜닝한다.

실험 결과

연구 질문

• RQ1 저자원 환경에서 다중 작업 학습이 불법 코멘트 분류 성능 향상에 기여할 수 있는가?
• RQ2 보조 작업에서의 전이 학습이 주 분류 작업 성능 향상에 얼마나 효과적인가?
• RQ3 다양한 목표를 함께 훈련함으로써 법적 텍스트에서 과적합을 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ4 보조 작업의 포함이 법적 NLP 응용에서의 데이터 부족 문제를 어느 정도 완화하는가?
• RQ5 제안된 다중 작업 모델은 F1 점수와 AUC 측면에서 단일 작업 기반 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 다중 작업 모델은 독성 코멘트 분류 작업에서 단일 작업 기반 모델 대비 F1 점수에서 뚜렷한 향상을 보였다.
• 보조 작업의 포함으로 인해 특히 데이터가 적은 환경에서 일반화 능력이 향상되었다.
• 사전 훈련된 임베딩에서의 전이 학습이 성능 향상에 기여했으며, 특히 드문 독성 유형에 대해 유의미한 개선을 보였다.
• 모델은 비하와 위협과 같은 다양한 유형의 독성 콘텐츠에 대해 뛰어난 강건성을 보였다.
• 공동 훈련 전략은 과적합을 줄이고 검증 세트에서 AUC 점수를 향상시켰다.
• 결과적으로 다중 작업 학습은 레이블 데이터가 제한된 법적 텍스트 분류에 실용적인 접근법임을 시사한다.