[논문 리뷰] Clickbait Detection in Tweets Using Self-attentive Network

Yiwei Zhou|arXiv (Cornell University)|2017. 10. 15.

Misinformation and Its Impacts참고 문헌 26인용 수 47

한 줄 요약

이 논문은 양방향 GRU와 학습 가능한 어텐션 메커니즘을 사용하여 트윗의 클릭베이트 탐지 문제를 다중 분류 과제로 재구성한 자기주의적 어텐션 신경망 모델을 제안한다. 수동 특징 공학 없이 엔드 투 엔드 학습을 통해 MSE 0.033의 최고 성능을 달성하여 Clickbait Challenge 2017에서 1위를 기록하였다.

ABSTRACT

Clickbait detection in tweets remains an elusive challenge. In this paper, we describe the solution for the Zingel Clickbait Detector at the Clickbait Challenge 2017, which is capable of evaluating each tweet's level of click baiting. We first reformat the regression problem as a multi-classification problem, based on the annotation scheme. To perform multi-classification, we apply a token-level, self-attentive mechanism on the hidden states of bi-directional Gated Recurrent Units (biGRU), which enables the model to generate tweets' task-specific vector representations by attending to important tokens. The self-attentive neural network can be trained end-to-end, without involving any manual feature engineering. Our detector ranked first in the final evaluation of Clickbait Challenge 2017.

연구 동기 및 목표

• 사용자를 오도하는 ' curiosity gap '을 유도하여 콘텐츠 품질을 떨어뜨리는 트윗의 클릭베이트 탐지를 해결하기 위해.
• 기존의 이진 분류 접근 방식을 개선하기 위해 클릭베이트를 강도의 정도에 따라 변화하는 회귀 문제로 모델링함으로써 클릭베이트 강도의 정도를 반영하고자 하였다.
• 수동 특징 공학 없이도 클릭베이트 예측을 위한 주요 토큰을 자동으로 식별할 수 있는 엔드 투 엔드 학습이 가능한 모델을 개발하고자 하였다.
• Clickbait Challenge 2017 벤치마크에서 MSE, F1 점수, 정확도, 추론 속도 등 여러 지표에서 높은 성능을 달성하고자 하였다.

제안 방법

• 도전 과제에서 제공한 표기 체계에 기반해 클릭베이트 탐지 과제를 회귀에서 다중 분류 과제로 재구성하였다.
• 트윗 텍스트를 맥락 기반의 은닉 상태로 인코딩하기 위해 이중 방향 Gated Recurrent Units (biGRU)를 사용하였다.
• 핵심 토큰에 주의를 기울임으로써 과제에 특화된 동적 표현을 생성하기 위해 biGRU 은닉 상태에 자기주의적 어텐션 메커니즘을 적용하였다.
• 기울기 클리핑과 드롭아웃 정규화를 사용한 Adam 최적화를 통해 전체 모델을 엔드 투 엔드로 학습시켰다.
• Wikipedia에서 사전 학습된 100D GloVe 임베딩을 초기화로 사용하였으며, 학습 중에 미세 조정하였다.
• Dataset C를 사용한 5겹 교차 검증을 통해 Hyperopt를 활용해 초모델 하이퍼파라미터(학습률, 드롭아웃, 배치 크기, 기울기 클리핑)를 최적화하였다.

실험 결과

연구 질문

• RQ1 자기주의적 신경망은 트윗의 클릭베이트 강도의 정도를 효과적으로 모델링할 수 있는가? 기존의 이진 분류 접근 방식보다 우수한 성능을 낼 수 있는가?
• RQ2 외부 특징 없이 언어학적으로 주목할 만한 토큰에 집중하는 어텐션 메커니즘이 얼마나 클릭베이트 탐지 성능을 향상시킬 수 있는가?
• RQ3 수동 특징 공학 대비 자기주의적 어텐션을 통한 엔드 투 엔드 학습은 트윗 클릭베이트 탐지에서 성능과 효율성 측면에서 어떻게 비교되는가?
• RQ4 통합된 모델은 실제 벤치마크에서 MSE, F1, 정확도, 추론 시간 등 여러 평가 지표에서 높은 성능을 달성할 수 있는가?

주요 결과

• Zingel Clickbait Detector는 최종 평가에서 MSE 0.033을 기록하여 베이스라인 MSE 0.044를 크게 뛰어넘고 1위를 차지하였다.
• 모델은 F1 점수 0.683과 정확도 0.856을 기록하여 모든 지표에서 뛰어난 분류 성능를 보였다.
• 실행 시간이 3분 27초로 매우 짧아 추론 효율성이 높다는 것을 확인하였다.
• biGRU로 인코딩된 표현에 자기주의적 어텐션을 적용함으로써 수동 특징 공학 없이도 효과적인 엔드 투 엔드 학습이 가능했다.
• 학습에 Dataset A와 Dataset C를 모두 활용하여 가용한 레이블된 데이터를 최대한 활용함으로써 일반화 성능를 향상시켰다.
• Hyperopt를 통한 초모델 하이퍼파라미터 최적화로 최적의 설정을 도출하였으며, 배치 크기 32, 드롭아웃 0.5, 초기 학습률 0.005, 기울기 클리핑 임계값 2로 설정되었다.