[논문 리뷰] Fishing for Clickbaits in Social Images and Texts with Linguistically-Infused Neural Network Models

Maria Glenski, Ellyn Ayton외 2명|arXiv (Cornell University)|2017. 10. 17.

Misinformation and Its Impacts참고 문헌 18인용 수 20

한 줄 요약

이 논문은 트윗 텍스트, 링크된 기사 내용, 그리고 편향된 언어의 언어학적 표식을 사용하여 소셜 미디어 게시물의 클릭유도성 정도를 예측하는 언어학적으로 통합된 신경망 모델을 제안한다. 최고의 모델은 클릭유도성 도전 대회 2017의 테스트 세트에서 평균 제곱 오차(MSE) 0.04와 R² 0.43를 기록했으며, 다른 아키텍처와 특징 조합보다 뛰어난 성능을 보였지만, 이미지 특징은 성능 향상에 유의미한 기여를 하지 못했다.

ABSTRACT

This paper presents the results and conclusions of our participation in the Clickbait Challenge 2017 on automatic clickbait detection in social media. We first describe linguistically-infused neural network models and identify informative representations to predict the level of clickbaiting present in Twitter posts. Our models allow to answer the question not only whether a post is a clickbait or not, but to what extent it is a clickbait post e.g., not at all, slightly, considerably, or heavily clickbaity using a score ranging from 0 to 1. We evaluate the predictive power of models trained on varied text and image representations extracted from tweets. Our best performing model that relies on the tweet text and linguistic markers of biased language extracted from the tweet and the corresponding page yields mean squared error (MSE) of 0.04, mean absolute error (MAE) of 0.16 and R2 of 0.43 on the held-out test data. For the binary classification setup (clickbait vs. non-clickbait), our model achieved F1 score of 0.69. We have not found that image representations combined with text yield significant performance improvement yet. Nevertheless, this work is the first to present preliminary analysis of objects extracted using Google Tensorflow object detection API from images in clickbait vs. non-clickbait Twitter posts. Finally, we outline several steps to improve model performance as a part of the future work.

연구 동기 및 목표

• 0~1 스케일의 연속적인 척도로 소셜 미디어 게시물의 클릭유도성 정도를 예측하는 회귀 모델을 개발하는 것.
• 표준 텍스트 표현 방식을 넘어서 편향된 언어의 언어학적 신호를 통합하면 클릭유도성 탐지 성능이 향상되는지 탐색하는 것.
• TensorFlow Object Detection API를 통해 추출한 이미지 특징이 클릭유도성 예측 성능에 기여하는지 평가하는 것.
• 최적의 예측 성능을 위해 다양한 신경망 아키텍처(CNN, LSTM)와 입력 조합(트윗 텍스트, 기사 텍스트, 언어학적 표식)을 비교하는 것.
• 다양한 수준의 클릭유도성 강도와 관련된 시각적 콘텐츠(이미지 내 객체)의 패턴을 규명하는 것.

제안 방법

• 트윗 텍스트와 링크된 기사 내용으로부터 표현을 학습하기 위해 양방향 LSTM과 CNN 아키텍처를 활용하였다.
• NLP 자원을 사용하여 트윗과 기사 텍스트에서 편향된 언어의 언어학적 표식(예: 불확실성, 과장)을 추출하였다.
• 텍스트 표현과 언어학적 신호를 결합하여 회귀 모델링을 위한 통합 입력 벡터를 구성하였다.
• 클릭유도성 및 비클릭유도성 게시물의 이미지에서 객체 레이블을 추출하기 위해 TensorFlow Object Detection API를 사용하였다.
• 두 개의 레이블된 데이터셋(2,000개 및 20,000개 게시물)을 사용하여 모델을 훈련하고, 검증용 2,000개 테스트 세트를 사용하여 MSE, MAE, R²로 평가하였다.
• 클래스 불균형 문제를 다루기 위한 기법을 적용하였지만, 그 정도는 제한적이었으며, 향후 시각-의미적 임베딩과 텍스트 유사도 메트릭스의 활용을 탐색하였다.

실험 결과

연구 질문

• RQ1 기존 수작업 특징보다 텍스트와 언어학적 신호를 기반으로 훈련된 신경망 모델이 소셜 미디어 게시물의 클릭유도성 정도를 더 정확하게 예측할 수 있는가?
• RQ2 편향된 언어의 언어학적 표식(예: 회피 표현, 과장)이 클릭유도성 탐지 성능에 유의미하게 기여하는가?
• RQ3 트윗의 이미지에서 추출한 시각적 특징이 클릭유도성 예측에 어느 정도 기여하는가?
• RQ4 다른 신경망 아키텍처(LSTM 대비 CNN)는 연속적인 클릭유도성 점수 예측에 어떻게 성능을 내는가?
• RQ5 고점수 클릭유도성 게시물과 저점수 클릭유도성 게시물의 이미지 내 객체 구성(예: 음식, 차량 등)에 눈에 띄는 차이가 있는가?

주요 결과

• 트윗 텍스트와 트윗 및 기사에서 추출한 언어학적 표식을 사용한 LSTM 아키텍처 기반의 최고 성능 모델이 테스트 세트에서 평균 제곱 오차(MSE) 0.04를 기록하였다.
• 동일한 모델은 R² 점수 0.43를 기록하여 연속적인 클릭유도성 강도에 대해 중간 수준의 예측 능력을 보였다.
• 이진 분류(클릭유도성 대비 비클릭유도성)의 경우 F1 점수 0.69를 기록하여 탄탄한 분류 능력을 입증하였다.
• 이미지 기반 특징은 TensorFlow Object Detection API를 사용하여 추출되었지만, 텍스트 전용 모델 대비 성능 향상에 유의미한 기여를 하지 못했다.
• 클릭유도성 이미지에는 음식, 가전제품, 접시 관련 객체 비율이 높았고, 비클릭유도성 이미지에는 차량과 스포츠 관련 객체 비율이 더 높았으며, 클릭유도성 점수가 높을수록 음식과 전자기기 객체 비율이 증가하는 경향을 보였다.
• 연구 결과, 객체 분포가 클릭유도성 강도와 유의미하게 관련되어 있음을 확인하여, 향후 모델에 시각적 신호가 유용할 수 있음을 시사하였다.