[논문 리뷰] LSTMs with Attention for Aggression Detection

Nishant Nikhil, Ramit Pahwa외 2명|arXiv (Cornell University)|2018. 07. 16.

Hate Speech and Cyberbullying Detection참고 문헌 15인용 수 13

한 줄 요약

이 논문은 순차적 모델링과 동적 단어 중요도 가중치 부여를 활용하여 소셜 미디어 텍스트에서 폭력성 탐지를 위한 LSTM에 주목하는 메커니즘을 제안한다. TRAC 2018 공동 과제에서 히ند리 하위 과제에서 6위 및 4위, 영어 하위 과제에서 17위 및 10위를 기록하여 최소한의 특징 공학으로도 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we describe the system submitted for the shared task on Aggression Identification in Facebook posts and comments by the team Nishnik. Previous works demonstrate that LSTMs have achieved remarkable performance in natural language processing tasks. We deploy an LSTM model with an attention unit over it. Our system ranks 6th and 4th in the Hindi subtask for Facebook comments and subtask for generalized social media data respectively. And it ranks 17th and 10th in the corresponding English subtasks.

연구 동기 및 목표

• 소셜 미디어 콘텐츠, 특히 페이스북 댓글과 일반적인 소셜 미디어 텍스트에서 폭력성을 분류하기 위한 신경망 모델을 개발하는 것.
• 짧고 비공식적인 텍스트에서 명시적 및 암시적 폭력적 언어를 탐지하는 과제를 해결하는 것.
• 순차적 이해를 위한 LSTM과 주목을 통해 주요 단어에 집중하는 데 도움이 되는 주목 메커니즘을 조합하여 분류 성능을 향상시키는 것.
• 다국어(영어 및 히нд리) 데이터를 포함한 공동 과제에서 모델을 평가하며, 페이스북 및 일반 소셜 미디어 콘텐츠를 모두 포함하는 것.

제안 방법

• 100차원의 단어 임베딩 레이어에 이어 드롭아웃 레이어를 사용하여 입력 표현을 정규화한다.
• 100개의 은닉 유닛을 가진 LSTM 레이어가 시퀀스를 처리하며, 게이트 메모리 셀을 통해 장기 의존성을 캡처한다.
• 학습된 가중치 벡터를 사용하여 단어 수준의 중요도 점수를 계산하는 주목 메커니즘이 존재하며, 이는 가중치가 부여된 컨텍스트 벡터를 생성한다.
• 주목 출력은 소프트맥스 활성화 함수를 사용하는 완전 연결 레이어를 통과하여 클래스 확률을 예측한다.
• 모델는 0.001 학습률과 카테고리형 교차 엔트로피 손실을 사용하여 Adam 옵timizer로 훈련된다.
• 텍스트 전처리에는 Ekphrasis를 활용한 URL, 이메일, 특수 토큰의 정규화, 소셜 미디어 토크나이저, 구두점 제거, 철자 교정, 어간 추출이 포함된다.

실험 결과

연구 질문

• RQ1 LSTM에 주목 메커니즘을 적용하면 짧고 비공식적인 소셜 미디어 텍스트에서 폭력성을 효과적으로 탐지할 수 있는가?
• RQ2 주목 메커니즘이 명시적 폭력적, 암시적 폭력적, 비폭력적 콘텐츠를 구분하는 데 모델의 능력을 어떻게 향상시키는가?
• RQ3 드롭아웃 비율과 시퀀스 길이가 모델의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 수작업 특징을 사용하는 전통적 분류기(예: 랜덤 포레스트)와 비교해 볼 때 제안된 모델은 어떻게 성능을 내는가?

주요 결과

• 히нд리 페이스북 하위 과제에서 모델은 가중치 F1 스코어 0.6032를 기록하여 20개 팀 중 6위를 차지했다.
• 히нд리 일반 소셜 미디어 하위 과제에서 모델은 F1 스코어 0.4703을 기록하여 20개 팀 중 4위를 기록했다.
• 영어 페이스북 하위 과제에서 모델은 F1 스코어 0.5548을 기록하여 17위를 기록했으며, 무작위 기반 모델(0.3535)보다 뚜렷한 향상이 있었다.
• 비폭력적 콘텐츠와 폭력적 콘텐츠를 구분하는 데 가장 잘 성과를 냈지만, 명시적 폭력적 및 암시적 폭력적 댓글을 분류하는 데 어려움을 겪었다.
• 더 높은 드롭아웃 비율(0.3)을 사용함으로써 일반화 능력이 향상되어 영어 소셜 미디어 과제에서 F1 스코어가 0.5304에서 0.5548로 상승했다.
• 주목 메커니즘이 핵심 단어에 집중하도록 도와주어, 수작업 특징에 의존하는 기반 모델보다 성능이 향상되었다.