[논문 리뷰] Diving Deep into Clickbaits: Who Use Them to What Extents in Which Topics with What Effects?

Md Main Uddin Rony, Naeemul Hassan외 1명|arXiv (Cornell University)|2017. 03. 28.

Misinformation and Its Impacts인용 수 16

한 줄 요약

이 논문은 미국 내 153개의 언론 기관에서 올린 167만 건의 페이스북 게시물을 분석하기 위해 서브워드 임베딩을 사용한 딥러닝 기반 클릭베이트 감지 모델을 제안한다. 모델은 98.3%의 정확도를 기록했으며, 신뢰할 수 없는 언론이 엔터테인먼트 및 개인화된 주제에서 더 광범위하게 클릭베이트를 사용하는 것으로 드러났다. 이는 사용자 참여도에 혼합된 영향을 미쳤으며, 더 높은 부정 반응에도 불구하고 그렇다.

ABSTRACT

The use of alluring headlines (clickbait) to tempt the readers has become a growing practice nowadays. For the sake of existence in the highly competitive media industry, most of the on-line media including the mainstream ones, have started following this practice. Although the wide-spread practice of clickbait makes the reader's reliability on media vulnerable, a large scale analysis to reveal this fact is still absent. In this paper, we analyze 1.67 million Facebook posts created by 153 media organizations to understand the extent of clickbait practice, its impact and user engagement by using our own developed clickbait detection model. The model uses distributed sub-word embeddings learned from a large corpus. The accuracy of the model is 98.3%. Powered with this model, we further study the distribution of topics in clickbait and non-clickbait contents.

연구 동기 및 목표

• 소셜 미디어에서 메인스트림 및 신뢰할 수 없는 언론 기관 간 클릭베이트 사용의 정도와 패턴을 조사하기 위해.
• 언론 게시물에서 클릭베이트 및 비클릭베이트 콘텐츠 간 주제 분포의 차이를 분석하기 위해.
• 페이스북에서 공유, 댓글, 반응 등의 사용자 참여 지표에 클릭베이트 헤드라인의 영향을 평가하기 위해.
• 수작업 특징 없이 서브워드 임베딩을 활용한 강력하고 자동화된 클릭베이트 감지 시스템을 개발하기 위해.
• 향후 클릭베이트 및 언론 신뢰성 연구를 위한 공개된 데이터셋과 워드 임베딩을 제공하기 위해.

제안 방법

• 대규모 뉴스 헤드라인 및 콘텐츠 코퍼스에서 학습된 분산 서브워드 임베딩을 사용해 지도 학습 기반 클릭베이트 분류 모델을 훈련시켰다.
• 최소한의 특징 공학을 통해 문장 임베딩에 소프트맥스 분류기를 적용하여 클릭베이트 및 비클릭베이트 헤드라인을 구분했다.
• 단어 공존 기반 토픽 모델링을 적용해 다양한 언론 유형에서 클릭베이트 및 비클릭베이트 콘텐츠의 주제 분포를 분석했다.
• 학습된 임베딩을 사용해 헤드라인과 기사 초반 부분 간의 의미 유사도를 측정하여 헤드라인 정확도를 평가했다.
• 페이스북 참여 데이터(반응, 댓글, 공유)를 수집하고 분석하여 클릭베이트 및 비클릭베이트 게시물 간 사용자 상호작용을 비교했다.
• 사전 학습된 Google News word2vec 임베딩 기반 모델과의 성능을 평가하여, 자체 개발한 서브워드 임베딩이 더 뛰어난 성능을 보임을 입증했다.

실험 결과

연구 질문

• RQ1 메인스트림 및 신뢰할 수 없는 언론 기관이 소셜 미디어 플랫폼에서 얼마나 많은 클릭베이트 헤드라인을 사용하는가?
• RQ2 다양한 언론 유형에서 클릭베이트 및 비클릭베이트 헤드라인 간 주제 분포는 어떻게 다를까?
• RQ3 공유, 댓글, 반응 측면에서 클릭베이트 헤드라인과 비클릭베이트 헤드라인 중 어떤 것이 더 높은 사용자 참여를 유도하는가?
• RQ4 기존의 워드 임베딩 대비 서브워드 임베딩 기반 모델이 클릭베이트 헤드라인 감지에 얼마나 효과적인가?
• RQ5 헤드라인 정확도(헤드라인-기사 초반 부분 유사도로 측정)와 사용자 참여 간의 관계는 어떠한가?

주요 결과

• 제안된 클릭베이트 감지 모델은 98.3%의 정확도를 기록했으며, Google News word2vec 임베딩 기반 모델보다 뛰어난 성능을 보였다.
• 신뢰할 수 없는 언론 기관이 메인스트림 언론보다 클릭베이트 헤드라인을 훨씬 더 높은 비율로 사용했으며, 방송 미디어에서 가장 높은 빈도를 보였다.
• 클릭베이트 콘텐츠는 엔터테인먼트, 개인화, 라이프스타일 주제에 집중되어 있었고, 뉴스 및 시사 주제는 클릭베이트 사용 가능성이 낮았다.
• 클릭베이트 헤드라인에 대해 더 높은 부정 반응이 있었음에도 불구하고, 클릭베이트에 의존하는 비전통적 미디어의 콘텐츠는 공유 및 댓글 수가 약간 더 높은 참여를 보였다.
• 기사 내용을 잘못 암시하거나 반영하지 못하는 헤드라인(헤드라인-기사 초반 부분 유사도가 낮은 경우)은 클릭베이트일 가능성이 더 높았으며, 약속과 실제 내용 간 괴리가 있었음을 시사했다.
• 사용자 반응이 참여도를 신뢰할 수 있게 예측하지 못할 수 있음을 발견하여, 부정 반응이 낮은 확산과 동일시한다는 가정을 도전했으며, 콘텐츠 공유 행동의 복잡한 역학을 시사했다.