[논문 리뷰] Clickbait Headline Detection in Indonesian News Sites using Multilingual Bidirectional Encoder Representations from Transformers (M-BERT)

Muhammad Noor Fakhruzzaman, Sa’idah Zahrotul Jannah외 2명|arXiv (Cornell University)|2021. 02. 02.

Misinformation and Its Impacts참고 문헌 13인용 수 12

한 줄 요약

이 연구는 다국어 BERT(M-BERT)를 문맥적 임bedding 계층으로 사용하고 피드포워드 신경망을 결합한 클릭베이트 헤드라인 검출 모델을 제안한다. 6,632개의 헤드라인으로 훈련된 모델는 5겹 교차검증에서 91.4% 정확도, 0.914 F1 점수, 0.92 AUC를 기록하여 M-BERT가 인도네시아어 NLP 과제, 특히 미디어 품질 평가 분야에서 저자원 언어에 효과적임을 입증한다.

ABSTRACT

Click counts are related to the amount of money that online advertisers paid to news sites. Such business models forced some news sites to employ a dirty trick of click-baiting, i.e., using a hyperbolic and interesting words, sometimes unfinished sentence in a headline to purposefully tease the readers. Some Indonesian online news sites also joined the party of clickbait, which indirectly degrade other established news sites' credibility. A neural network with a pre-trained language model M-BERT that acted as a embedding layer is then combined with a 100 nodes hidden layer and topped with a sigmoid classifier was trained to detect clickbait headlines. With a total of 6632 headlines as a training dataset, the classifier performed remarkably well. Evaluated with 5-fold cross validation, it has an accuracy score of 0.914, f1-score of 0.914, precision score of 0.916, and ROC-AUC of 0.92. The usage of multilingual BERT in Indonesian text classification task was tested and is possible to be enhanced further. Future possibilities, societal impact, and limitations of the clickbait detection are discussed.

연구 동기 및 목표

• 인도네시아 온라인 뉴스에서의 클릭베이트 사용 증가에 대응하여 저널리즘의 신뢰성과 대중 신뢰를 해칠 수 있음을 다루기 위해.
• 인도네시아어는 이 분야에서 저자원 언어이므로, 자동화된 NLP 기반의 클릭베이트 헤드라인 검출 솔루션을 개발하기 위해.
• 특히 호기심을 자극하는, 오도하는 헤드라인을 탐지하는 데에 다국어 BERT(M-BERT)의 효과성을 평가하기 위해.
• 미디어 리터러시를 지원하고 클릭베이트 기반 오해를 줄이기 위한 실용적 도구를 기여하기 위해.

제안 방법

• 클릭베이트 또는 비클릭베이트로 레이블링된 6,632개의 인도네시아어 뉴스 헤드라인으로 구성된 자체 제작 데이터셋에 사전 훈련된 다국어 BERT 모델을 미세조정한다.
• 헤드라인의 의미적 및 문법적 특징을 포착하기 위해 M-BERT를 문맥적 단어 임베딩 계층으로 사용한다.
• 이진 분류를 위한 100개 노드를 가진 은닉층과 시그모이드 출력 분류기로 구성된 피드포워드 신경망을 구축한다.
• 모델의 일반화 능력과 강건성을 평가하기 위해 5겹 교차검증을 적용한다.
• 대규모 인도네시아어 애너테이션 데이터가 필요로 하는 것을 줄이기 위해 다국어 표현을 활용하는 전이학습을 사용한다.
• 단어 빈도-역문서 빈도 제곱근(TF-IDF)을 기준선 비교로 사용하지만, 클릭베이트에서의 문맥적 뉘앙스를 더 잘 포착하기 위해 단어 임베딩을 선택한다.

실험 결과

연구 질문

• RQ1 제한된 도메인 특화 사전 훈련을 가진 상태에서 M-BERT가 인도네시아어 뉴스 기사의 클릭베이트 헤드라인을 효과적으로 탐지할 수 있는가?
• RQ2 TF-IDF 기반 기준선 대비 M-BERT 기반 신경망의 성능은 인도네시아어 클릭베이트 헤드라인 분류에서 어떻게 비교되는가?
• RQ3 주제 다양성과 레이블링의 모호성이 클릭베이트 탐지에서 모델의 일반화 능력과 신뢰성에 어떤 영향을 미치는가?
• RQ4 미세조정된 M-BERT 모델이 시간에 따라 변화하는 클릭베이트 언어 구조 패턴을 어느 정도 포착할 수 있는가?
• RQ5 훈련 데이터에 비공식적이고 과장되거나 슬랭어어 표현을 포함시키면 실제 클릭베이트 탐지에서 모델 성능이 어떻게 향상될 수 있는가?

주요 결과

• M-BERT 기반 모델은 5겹 교차검증에서 91.4% 정확도와 0.914 F1 점수를 기록하여 인도네시아어 클릭베이트 데이터셋에 대해 강력한 일반화 능력을 보였다.
• 모델은 AUC 점수 0.92를 확보하여 클릭베이트와 비클릭베이트 헤드라인 간의 높은 분류 능력을 입증했다.
• TF-IDF 기반 기준선 대비 성능이 뛰어나, 이 작업에 대해 문맥 임베딩이 바구니-오브-워드 접근법보다 더 효과적임을 확인했다.
• 최신의 미사용 데이터셋에서 성능 저하가 관찰되어, 변화하는 클릭베이트 패턴으로 인한 분포 이탈 또는 개념 이동의 가능성을 시사했다.
• 이 연구는 M-BERT가 인도네시아어와 같이 저자원 언어에 대해 미디어 품질 평가 과제에서 효과적으로 미세조정될 수 있음을 확인했다.
• 저자들은 위키백과 기반 사전 훈련이 클릭베이트에서 흔한 과장되거나 구어체 표현에 민감도가 떨어지게 할 수 있음을 밝혀내었으며, 이는 도메인 특화 미세조정이 필요함을 시사한다.