[논문 리뷰] Identifying Clickbait: A Multi-Strategy Approach Using Neural Networks

Vaibhav Kumar, Dhruv Khattar외 3명|arXiv (Cornell University)|2017. 10. 04.

Misinformation and Its Impacts참고 문헌 17인용 수 19

한 줄 요약

이 논문은 텍스트에 대해 양방향 LSTM와 주의 메커니즘을 통합하고, 텍스트 유사도를 위해 시ames 네트워크를, 이미지-텍스트 정렬을 위해 시ames 이미지 네트워크를 활용하는 다중 전략 신경망 모델을 제안한다. 이 모델은 19,538개의 샘플로 구성된 소셜 미디어 데이터셋에서 F1 스코어 65.37%를 기록하며, 엔드 투 엔드 학습을 통해 텍스트 및 시각적 특징을 융합함으로써 이전 최고 성능 모델을 능가한다.

ABSTRACT

Online media outlets, in a bid to expand their reach and subsequently increase revenue through ad monetisation, have begun adopting clickbait techniques to lure readers to click on articles. The article fails to fulfill the promise made by the headline. Traditional methods for clickbait detection have relied heavily on feature engineering which, in turn, is dependent on the dataset it is built for. The application of neural networks for this task has only been explored partially. We propose a novel approach considering all information found in a social media post. We train a bidirectional LSTM with an attention mechanism to learn the extent to which a word contributes to the post's clickbait score in a differential manner. We also employ a Siamese net to capture the similarity between source and target information. Information gleaned from images has not been considered in previous approaches. We learn image embeddings from large amounts of data using Convolutional Neural Networks to add another layer of complexity to our model. Finally, we concatenate the outputs from the three separate components, serving it as input to a fully connected layer. We conduct experiments over a test corpus of 19538 social media posts, attaining an F1 score of 65.37% on the dataset bettering the previous state-of-the-art, as well as other proposed approaches, feature engineering or otherwise.

연구 동기 및 목표

• 헤드라인에서 콘텐츠를 과도하게 약속함으로써 사용자를 오도하는 온라인 미디어에서의 클릭베이트 문제를 해결하기 위해.
• 기존의 특징 엔지니어링을 넘어서 딥 러닝과 다중 모odal 데이터를 활용하여 클릭베이트 탐지 성능을 향상시키기 위해.
• 텍스트, 시각적, 의미적 유사도 특징을 통합된 탐지 프레임워크에 통합하기 위해.
• 대규모 소셜 미디어 데이터셋에서 기존 최고 성능 모델을 초월하는 F1 스코어와 정확도를 확보하기 위해.
• 주의 메커니즘과 시ames 네트워크가 클릭베이트 신호의 미세한 특징을 어떻게 포착하는지 탐색하기 위해.

제안 방법

• 양방향 LSTM에 주의 메커니즘을 통합하여 기사 제목의 단어 및 문자 수준 임베딩을 처리함으로써, 클릭베이트 스코어에 기여하는 단어의 기여도를 차별화적으로 학습한다.
• Doc2Vec 임베딩을 사용하여 기사 제목과 대상 설명 사이의 의미적 유사도를 계산하기 위해 시ames 신경망을 활용한다.
• 이미지 임베딩(예: VGG-19에서 추출)과 대상 설명의 Doc2Vec 표현 간의 유사도를 측정하기 위해 시각적 시ames 네트워크를 사용한다.
• 이미지 임베딩은 사전 훈련된 VGG-19 모델을 통해 추출되며, 텍스트 임베딩과의 호환성을 위해 300차원으로 변환된다.
• 세 가지 구성 요소—텍스트, 텍스트 유사도, 시각적 유사도—의 출력을 연결하여 최종 클릭베이트 분류를 위한 완전 연결층에 입력한다.
• 모델은 배치 크기가 256인 Adam 옵timizer와 이진 교차 엔트로피 손실 함수를 사용하여 훈련되며, 하이퍼파ram터는 4:1 훈련-검증 분할에 따라 조정된다.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 의미적 유사도를 융합한 다중 모달 딥 러닝 접근 방식이 기존 특징 엔지니어링 기반 방법보다 클릭베이트 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 주의 메커니즘이 클릭베이트 스코어에 기여하는 핵심 단어를 효과적으로 포착하는 데 얼마나 유용한가?
• RQ3 제목과 콘텐츠 또는 이미지 간의 유사도를 모델링함으로써 시ames 네트워크가 클릭베이트 탐지 성능을 얼마나 향상시키는가?
• RQ4 순수 텍스트 기반 모델에 비해 시각적 특징을 통합함으로써 탐지 성능 향상이 실제로 유의미하게 이루어지는가?
• RQ5 하이브리드 신경망 아키텍처가 실제 소셜 미디어 데이터에서 기존 최고 성능 모델보다 더 높은 F1 스코어와 정확도를 달성할 수 있는가?

주요 결과

• 제안된 하이브리드 모델은 19,538개의 소셜 미디어 게시물로 구성된 테스트 세트에서 F1 스코어 65.37%를 기록하며 이전 최고 성능을 초월한다.
• 동일한 데이터셋에서 BiLSTM 베이스라인(F1: 61%)과 특징 엔지니어링 베이스라인(F1: 55%)을 모두 능가한다.
• VGG-19와 시각적 시ames 네트워크를 통한 시각적 특징 통합이 탐지 성능 향상에 기여하는 것으로 확인된다.
• 양방향 LSTM 내 주의 메커니즘이 클릭베이트의 강력한 지표가 되는 핵심 단어에 집중할 수 있도록 한다.
• 텍스트 유사도를 위한 시ames 네트워크는 제목과 설명 간의 의미적 정렬을 효과적으로 포착하여 모델의 강건성을 향상시킨다.
• 모델은 83.53%의 정확도를 기록하여 기준 데이터셋에서 뛰어난 일반화 능력을 보였다.