[논문 리뷰] The Clickbait Challenge 2017: Towards a Regression Model for Clickbait Strength

Martin Potthast, Tim Gollub외 2명|arXiv (Cornell University)|2018. 12. 27.

Misinformation and Its Impacts참고 문헌 5인용 수 31

한 줄 요약

이 논문은 38,517개의 소셜 미디어 테이저를 포함한 대규모 공개 데이터셋인 Webis Clickbait Corpus 2017을 바탕으로, 등급 척도상의 클릭베이트 강도를 측정하기 위한 회귀 접근 방식을 사용해 13개의 기계학습 모델을 평가한 Clickbait Challenge 2017을 제시한다. 이 도전은 딥 러닝 및 앙상블 방법이 전통적인 베이스라인을 크게 능가함을 입증하였으며, 최상위 모델은 F1 점수 0.95를 기록하였다.

ABSTRACT

Clickbait has grown to become a nuisance to social media users and social media operators alike. Malicious content publishers misuse social media to manipulate as many users as possible to visit their websites using clickbait messages. Machine learning technology may help to handle this problem, giving rise to automatic clickbait detection. To accelerate progress in this direction, we organized the Clickbait Challenge 2017, a shared task inviting the submission of clickbait detectors for a comparative evaluation. A total of 13 detectors have been submitted, achieving significant improvements over the previous state of the art in terms of detection performance. Also, many of the submitted approaches have been published open source, rendering them reproducible, and a good starting point for newcomers. While the 2017 challenge has passed, we maintain the evaluation system and answer to new registrations in support of the ongoing research on better clickbait detectors.

연구 동기 및 목표

• 소셜 미디어에서 사용자를 속이는 센세이션을 자극하는 제목을 통해 트래픽을 유도하는 클릭베이트 문제의 증가를 다루기 위해.
• 대규모로 인간이 애너테이션한 데이터셋을 바탕으로 공통된 기준을 마련하기 위해 공동 과제를 조직함으로써 클릭베이트 탐지에 대한 표준화된 벤치마크를 설정하기 위해.
• 모든 제출된 모델을 공개하고 지속적인 제출을 허용하는 평가 플랫폼(TIRA)을 유지함으로써 재현 가능한 연구를 촉진하기 위해.
• 클릭베이트 탐지를 이진 분류에서 회귀로 전환하여 클릭베이트 강도를 더 세밀하게 측정할 수 있도록 하기 위해.
• 공통 평가 프레임워크를 제공하고 커뮤니티 협업을 장려함으로써 자동 클릭베이트 탐지 분야의 진전을 가속화하기 위해.

제안 방법

• 도전은 각 테이저에 연속 척도상의 클릭베이트 강도 점수를 할당하는 방식으로 클릭베이트 탐지를 회귀 문제로 프레임워크화하여, 더 세밀한 성능 평가가 가능하도록 하였다.
• Webis Clickbait Corpus 2017은 주로 트윗을 포함한 38,517개의 소셜 미디어 테이저를 인간이 애너테이션한 클릭베이트 강도 점수와 함께 구성되어 있어 고품질의 다양성 있는 학습 데이터를 확보하였다.
• 참가자들은 다양한 기법을 활용하였으며, 예를 들어 양방향 RNN(예: biGRU, LSTM)에 어텐션 메커니즘을 적용한 딥 네트워크, 랜덤 포레스트, XGBoost, 그리고 여러 특징 스트림을 조합한 앙상블 모델을 사용하였다.
• 특징 공학에는 언어적 특징(예: 정서 강도, 초월성 어휘 사용), 테이저와 연결된 기사 사이의 의미 유사도, OCR 및 사전 학습된 객체 탐지기 기반의 이미지 기반 특징이 포함되었다.
• 모델 평가는 표준 회귀 평가 지표(예: F1 점수, 평균 제곱 오차)를 사용하였으며, 결과는 TIRA 평가 플랫폼의 공개 랭킹 보드를 통해 집계되었다.
• 평가 시스템은 도전 종료 후에도 활성화되어 있어 새로운 제출이 가능하며, 이는 이전 결과와의 장기적 비교를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 클릭베이트 탐지를 이진 분류 문제에서 회귀 문제로 모델링하는 것이 효과적인가? 이는 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ2 소셜 미디어 콘텐츠에서 클릭베이트 강도를 예측하는 데 가장 유용한 언어적, 의미적, 시각적 특징은 무엇인가?
• RQ3 딥 러닝 모델(예: LSTM, 어텐션 메커니즘)은 전통적인 기계학습 모델(예: 랜덤 포레스트, XGBoost)보다 클릭베이트 강도 탐지에서 어떻게 성능을 냈는가?
• RQ4 모델을 오픈소스로 공개하고 지속 가능한 평가 플랫폼을 유지하는 것이 클릭베이트 탐지 분야의 연구 진전을 얼마나 가속화하는가?
• RQ5 특징 선택 및 모델 앙상블 기법이 대규모 실세계 클릭베이트 데이터셋에서 탐지 성능을 크게 향상시킬 수 있는가?

주요 결과

• 최상위 성능을 기록한 모델인 albacore는 F1 점수 0.95를 기록하여 이전 최고 성능 모델들이 보고한 약 0.75 수준의 F1 점수를 크게 뛰어넘었다.
• 회귀 접근 방식은 이진 분류보다 더 세밀한 평가를 가능하게 하여 클릭베이트 강도의 미세한 차이를 더 잘 구분할 수 있도록 하였다.
• 사전 학습된 단어 임베딩(GloVe 등)과 양방향 RNN 내 어텐션 메커니즘을 활용한 모델은 맥락적 단서를 효과적으로 포착하여 뛰어난 성능을 보였다.
• 다양한 전문 분류기(예: 텍스트, 이미지, 기사 특징 전용)의 예측을 조합한 앙상블 방법은 높은 내구성과 정확도를 달성하였다.
• 38,517개의 애너테이션된 예제를 포함한 Webis Clickbait Corpus 2017은 다양한 모델 아키텍처와 특징 세트를 지원하는 가치 있고 확장 가능한 벤치마크로 입증되었다.
• 평가 플랫폼인 TIRA는 도전 종료 후에도 활성 상태를 유지하여 17건 이상의 추가 제출을 지원하였으며, 이는 분야 내 지속적인 연구 관심과 재현 가능성의 가능성을 보여주었다.