[논문 리뷰] Clickbait detection using word embeddings

Vijayasaradhi Indurthi, Subba Reddy Oota|arXiv (Cornell University)|2017. 10. 08.

Misinformation and Its Impacts참고 문헌 7인용 수 4

한 줄 요약

이 논문은 사전 훈련된 GloVe 단어 임베딩과 수작업으로 구성한 언어적 특징을 결합하여 트윗의 클릭베이트 점수를 예측하는 간단하면서도 효과적인 클릭베이트 탐지 방법을 제안한다. 평균화된 GloVe 벡터와 도메인 특화 특징을 기반으로 선형 회귀를 적용하여, 계산 비용이 낮고 특징 공학도 최소화한 채로 F1 점수 64.98%와 평균 제곱 오차(MSE) 0.0791을 달성하였으며, 중간 정도의 효과성을 입증하였다.

ABSTRACT

Clickbait is a pejorative term describing web content that is aimed at generating online advertising revenue, especially at the expense of quality or accuracy, relying on sensationalist headlines or eye-catching thumbnail pictures to attract click-throughs and to encourage forwarding of the material over online social networks. We use distributed word representations of the words in the title as features to identify clickbaits in online news media. We train a machine learning model using linear regression to predict the cickbait score of a given tweet. Our methods achieve an F1-score of 64.98\% and an MSE of 0.0791. Compared to other methods, our method is simple, fast to train, does not require extensive feature engineering and yet moderately effective.

연구 동기 및 목표

• 사전 훈련된 단어 임베딩이 광범위한 특징 공학 없이 트윗의 클릭베이트 점수를 효과적으로 예측할 수 있는지 조사하기 위해.
• 분산된 단어 표현과 도메인 특화 언어적 특징을 모두 사용하는 간단한 기계 학습 모델의 성능을 평가하기 위해.
• 저자원 장치에 배포하기에 적합한 경량이며 해석 가능하고 효율적인 시스템을 개발하기 위해.
• 클릭베이트 탐지를 이진 분류가 아닌 연속적인 클릭베이트 점수를 부여하는 회귀 과제로 다루는 도전 과제를 해결하기 위해.

제안 방법

• 모델은 300차원의 사전 훈련된 GloVe 임베딩을 사용하며, 각 트윗의 단어 벡터를 평균화하여 고정 길이의 표현을 형성한다.
• 일곱 가지 수작업으로 구성한 언어적 특징을 추출한다: 단어 수, 정지어 수, 평균 단어 길이, 의문사 존재 여부, 수사적 수치의 시작 숫자, 동명사(지속 동사), 초월 형용사.
• 각 트윗에 대해 특징을 연결하여 총 307차원의 벡터(300개의 GloVe + 7개의 수작업 특징)를 형성한다.
• 정규화 없이 선형 회귀 모델을 훈련하여 클릭베이트 점수를 예측한다.
• 훈련 데이터는 클릭베이트 챌린지 2017의 초기 훈련 및 검증 데이터 세트를 조합하여 구성되었으며, 클릭베이트와 비클릭베이트 클래스가 균형 잡혀 있다.
• 모델 평가는 TIRA 플랫폼의 공개되지 않은 테스트 세트를 통해 표준 회귀 평가 지표인 MSE, F1 점수, R²를 사용하여 수행된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단어 임베딩과 최소한의 특징 공학만으로도 소셜 미디어 콘텐츠의 클릭베이트 점수를 효과적으로 예측할 수 있는가?
• RQ2 GloVe 임베딩과 수작업 특징을 사용하는 간단한 선형 모델은 더 복잡한 모델에 비해 클릭베이트 탐지에서 어떤가?
• RQ3 초월 형용사나 의문사 형태와 같은 도메인 특화 언어적 특징이 클릭베이트 예측에 얼마나 기여하는가?
• RQ4 평균화된 GloVe 임베딩이 트윗처럼 짧은 텍스트에서 클릭베이트 탐지에 충분한 의미적 및 문법적 정보를 포착할 수 있는가?

주요 결과

• 모델은 공식 테스트 세트에서 F1 점수 64.98%를 기록하여 클릭베이트와 비클릭베이트 콘텐츠를 중간 정도로 구분하는 데 효과적임을 나타냈다.
• 평균 제곱 오차(MSE)는 0.0791이었으며, 이는 기준 시스템의 MSE 0.0435보다 높아, 회귀 정확도 향상 여지가 있음을 시사한다.
• 재현율(recall)은 84.05%로 실제 클릭베이트 사례를 강력하게 탐지함을 보여주었지만, 정밀도는 52.97%로 낮았다.
• R² 점수는 음수(-0.0767)였으며, 이는 모델이 목표 변수의 분산의 8% 미만을 설명한다는 것을 의미하며 잔차 오차가 높음을 시사한다.
• 테스트 세트에서 정확도는 78.46%였으며, 이는 중간 정도의 전체 분류 성능를 반영한다.
• 훈련 및 추론 런타임은 단지 4분 55초였으며, 이는 방법의 효율성과 실시간 배포에 적합함을 확인한다.