[논문 리뷰] ReINTEL: A Multimodal Data Challenge for Responsible Information Identification on Social Network Sites

Duc-Trong Le, Xuan-Son Vu외 9명|arXiv (Cornell University)|2020. 12. 16.

Topic Modeling참고 문헌 29인용 수 9

한 줄 요약

이 논문은 베트남어 소셜미디어에서 신뢰할 만한 뉴스와 신뢰할 수 없는 뉴스를 탐지하기 위한 다중모달 공동과제 ReINTEL를 소개한다. 이는 텍스트, 시각적 요소 및 메타데이터 특징을 갖춘 10,007건의 인간 레이블링 데이터셋을 기반으로 하며, 사전 테스트 AUC-ROC 점수 0.9521을 기록하여 저자원 환경에서 NLP 및 컴퓨터 비전 기법을 활용한 다중모달 가짜 뉴스 탐지에 기준을 설정한다.

ABSTRACT

This paper reports on the ReINTEL Shared Task for Responsible Information Identification on social network sites, which is hosted at the seventh annual workshop on Vietnamese Language and Speech Processing (VLSP 2020). Given a piece of news with respective textual, visual content and metadata, participants are required to classify whether the news is `reliable' or `unreliable'. In order to generate a fair benchmark, we introduce a novel human-annotated dataset of over 10,000 news collected from a social network in Vietnam. All models will be evaluated in terms of AUC-ROC score, a typical evaluation metric for classification. The competition was run on the Codalab platform. Within two months, the challenge has attracted over 60 participants and recorded nearly 1,000 submission entries.

연구 동기 및 목표

• 소셜네트워크사이트(SNS)에서의 신뢰할 수 없는 정보 유포 문제를 다루기 위해, 특히 코로나19 패an드레모 시기 동안의 영향을 고려한다.
• 특히 베트남어 SNS를 대상으로 텍스트, 이미지, 메타데이터 등 다중모달 데이터를 활용해 가짜 뉴스 탐지에 신뢰할 수 있는 기준을 마련한다.
• 향후 다중모달 가짜 뉴스 탐지 및 책임감 있는 정보 식별 연구를 지원하기 위해 대규모 인간 레이블링 데이터셋을 제공한다.
• 동일한 데이터셋을 기반으로 표준화된 평가 프레임워크를 활용해 다양한 기계학습 모델의 성능을 평가하고 비교한다.

제안 방법

• 데이터셋은 베트남어 SNS(예: 페이스북, 조알로)와 베트남 신문에서 수집되었으며, 코로나19 가짜정보 유통 기간인 2020년 3월부터 6월까지의 게시물을 포함한다.
• 총 10,007건의 게시물이 23명의 훈련된 레이블러가 신뢰성에 대해 5점 척도를 사용해 레이블링하였으며, 최종 이진 레이블(0: 신뢰할 만함, 1: 신뢰할 수 없음)은 공감 기반으로 도출되었다.
• 레이블링 도구는 출처 신뢰성, 사실적 정확성, 언어적 적절성에 대한 가이드라인 기준을 포함하여 레이블러 간 일관성을 확보했다.
• 참가자들은 텍스트, 시각적 요소, 메타데이터(예: 좋아요, 공유, 댓글 수) 특징을 활용해 뉴스가 신뢰할 만한지 여부를 분류하는 모델을 구축하도록 요구받았다.
• 공동과제는 Codalab에서 주최되었으며, 주요 평가 지표로 AUC-ROC를 사용했으며, 훈련 세트(8,000개 예제)와 테스트 세트(2,000개 레이블 없음 예제)로 구성되었다.
• 모델은 ID와 신뢰할 수 없는 것으로 예측 확률의 형식으로 훈련 및 제출되었으며, scikit-learn의 ROC-AUC 구현을 사용해 지표값과 기준 레이블 간 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 메타데이터를 통합한 다중모달 접근 방식은 베트남어 소셜미디어에서 신뢰할 수 없는 뉴스 탐지에 얼마나 효과적인가?
• RQ2 저자원 언어 환경에서 전이학습 모델(phoBERT, RoBERTa, ViT 등)이 뉴스 신뢰성 분류에 얼마나 효과적인가?
• RQ3 앙상블 방법과 특징 공학(예: TF-IDF, SVD, 메타특징)은 이 분류 과제에서 AUC-ROC 점수를 어떻게 향상시키는가?
• RQ4 다중모달 환경에서 시각적 특징은 신뢰할 만한 뉴스와 신뢰할 수 없는 뉴스를 구분하는 데 얼마나 기여하는가?
• RQ5 코로나19 패안드레모와 같은 고위험 상황에서, 베트남어 SNS에서의 가짜정보 탐지에 있어 주요 과제와 성능 추세는 무엇인가?

주요 결과

• 최고 성능을 기록한 모델은 사전 테스트 세트에서 AUC-ROC 점수 0.9521을 기록하여 다중모달 가짜 뉴스 탐지에서 뛰어난 성능을 입증했다.
• 공개 테스트 세트에서 기록한 최고 AUC-ROC 점수는 0.9427로, 참가자 모델 간 뛰어난 일반화 능력을 보였다.
• 모든 제출 결과의 평균 AUC-ROC는 0.8703이었으며, 대회 전체에서 일관된 모델 성능을 보였다.
• 상위 6개 팀이 앙상블 방법을 사용하여, 모델 스태킹이 신뢰성 탐지 성능 향상에 기여하는 것으로 나타났다.
• 최고 성능을 기록한 팀(Kurtosis)은 TF-IDF, SVD, 기울기 부스팅 트리(LightGBM, CatBoost)의 조합을 사용하여 전통적인 NLP 및 표본형 특징 공학의 가치를 입증했다.
• 단 한 팀(Toyo-Aime)만이 CNN, BERT, 완전 연결층을 조합한 다중모달 접근 방식을 사용했으며, 비록 잠재력이 크지만 시각-언어 융합 기술의 도입은 아직 제한적임을 시사했다.