[논문 리뷰] Like Article, Like Audience: Enforcing Multimodal Correlations for Disinformation Detection

Liesbeth Allein, Marie‐Francine Moens외 1명|arXiv (Cornell University)|2021. 08. 31.

Misinformation and Its Impacts인용 수 9

한 줄 요약

이 논문은 뉴스 기사 표현과 사용자 생성 콘텐츠(트윗, 프로필 설명) 간 상관관계를 강제하여 위장 정보 탐지 성능을 햖थ하려는 다중모달 학습 프레임워크를 제안한다. 훈련 중 기사-사용자 및 사용자-사용자 잠재 표현에 대한 동시 제약를 최적화함으로써 사용자 데이터를 추론 시에 요구하지 않고도, 위조 및 진짜 뉴스 간 특징의 구분 능력을 향상시킨다. 이로 인해 다양한 분류기와 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 개인정보 윤리 기준을 준수한다.

ABSTRACT

User-generated content (e.g., tweets and profile descriptions) and shared content between users (e.g., news articles) reflect a user's online identity. This paper investigates whether correlations between user-generated and user-shared content can be leveraged for detecting disinformation in online news articles. We develop a multimodal learning algorithm for disinformation detection. The latent representations of news articles and user-generated content allow that during training the model is guided by the profile of users who prefer content similar to the news article that is evaluated, and this effect is reinforced if that content is shared among different users. By only leveraging user information during model optimization, the model does not rely on user profiling when predicting an article's veracity. The algorithm is successfully applied to three widely used neural classifiers, and results are obtained on different datasets. Visualization techniques show that the proposed model learns feature representations of unseen news articles that better discriminate between fake and real news texts.

연구 동기 및 목표

• 사용자 생성 콘텐츠와 공유된 뉴스 기사 간 상관관계가 위장 정보 탐지 성능 향상에 기여하는지 조사하기 위해.
• 테스트 시 사용자 프로파일링에 의존하지 않고 기사와 사용자 간 잠재 공간 제약을 강제하는 다중모달 학습 알고리즘을 개발하기 위해.
• 사용자 프로파일링을 피하면서도 사용자 행동 패턴을 활용하여 모델 일반화 능력을 향상시키는 윤리적 AI 원칙을 준수하기 위해.
• 다양한 신경망 분류기와 데이터셋에서 사용자 관련 제약이 모델 성능 및 표현 품질에 미치는 영향을 평가하기 위해.
• 사용자 제약이 기사 표현 학습에 미치는 영향을 분석하기 위한 통계적으로 탄탄한 방법을 제공하기 위해.

제안 방법

• 모델은 세 가지 동시 훈련 목표를 사용한다: (1) 기사 진위성 분류, (2) 기사 및 사용자 잠재 표현 간余弦 거리 최소화, (3) 동일한 기사를 공유한 사용자 간 잠재 표현 간余弦 거리 최소화.
• 사용자 표현은 트윗과 프로필 설명에서 유도되며, 이는 기사와 함께 공유 또는 별도의 인코더를 사용해 독립적으로 인코딩된다.
• 이 방법은 CNN, HAN, DistilBERT 세 가지 신경망 분류기에 적용되며, 최적화 과정에서 손실 함수를 통해 사용자 제약을 통합한다.
• 사용자 데이터는 훈련 중에만 사용되며, 추론 시에는 사용자 정보가 필요 없어 윤리적 AI 지침을 준수한다.
• 모델은 제약된 표현 학습을 통해 기사 및 사용자 모odal을 공통 잠재 공간에 정렬함으로써, 위조 및 진짜 뉴스 간의 구분 능력을 향상시킨다.
• 시각화 및 통계 분석을 통해 학습된 표현이 위조 뉴스와 진짜 뉴스를 더 잘 분리하는 것으로 확인된다.

실험 결과

연구 질문

• RQ1 사용자 생성 콘텐츠와 공유된 뉴스 기사 간 상관관계가 위장 정보 탐지 성능 향상에 기여하는가?
• RQ2 기사-사용자 및 사용자-사용자 다중모달 상관관계를 강제할 경우, 학습된 기사 표현의 품질은 어떻게 영향을 받는가?
• RQ3 사용자 데이터를 훈련 중에만 사용하고 추론 시에는 요구하지 않는 모델이 얼마나 성능 향상에 기여하는가?
• RQ4 실제 사용자-기사 상관관계가 왜곡되어도 사용자 관련 제약이 적용된 모델이 더 나은 일반화 성능을 보이는가?
• RQ5 사용자 생성 콘텐츠(예: 트윗)의 노이즈가 모델 예측에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 FakeNewsNet 및 ReCOVery 데이터셋에서 테스트된 모든 분류기(CNN, HAN, DistilBERT)에서 위장 정보 탐지 성능을 크게 향상시켰다.
• 사용자-기사 및 사용자-사용자 상관관계가 무작위로 왜곡된 경우에도 사용자 제약 모델은 기본 모델보다 여전히 우수한 성능을 보였으며, 손상되거나 허위 상관관계에 대해 강건함을 시사한다.
• 시각화 결과는 기사 잠재 공간에서 위조 뉴스와 진짜 뉴스를 더 구분력 있게 표현하는 특징 표현을 학습했다는 것을 확인한다.
• HAN +u/d 모델(프로필 설명만 사용)은 HAN +u/d+t(트윗과 설명 모두 사용)보다 성능이 뛰어나, 노이즈가 많은 트윗 콘텐츠가 성능 저하에 기여할 수 있음을 시사한다.
• 훈련 중 다중모달 상관관계를 성공적으로 강제함으로써, 더 나은 일반화 능력과 특히 위조 클래스에 대해 향상된 F1 점수를 달성했다.
• 제약 조건에 대한 통계 분석은 사용자 관련 손실이 추론 시 사용자 데이터가 없더라도 기사 표현 학습에 측정 가능한 긍정적 영향을 미친다는 것을 확인했다.