[논문 리뷰] Cross-Lingual Cross-Platform Rumor Verification Pivoting on Multimedia Content

Weiming Wen, Songwen Su외 1명|arXiv (Cornell University)|2018. 08. 14.

Misinformation and Its Impacts참고 문헌 17인용 수 3

한 줄 요약

이 논문은 뉴스 기사와 외부 웹 콘텐츠 간의 의미적 유사도를 측정하여 다중미디어 루머를 검증하기 위해 Google과 Baidu의 외부 웹 콘텐츠를 활용하는 다국어·다플랫폼 루머 검증 프레임워크를 제안한다. 다국어·다플랫폼 특징을 도입함으로써 MediaEval 2015 VMU 데이터셋에서 최신 기술 수준의 성능을 달성하고, 다양한 언어 간에 강력한 전이 학습 능력을 보이며, 자원이 적은 언어에서의 루머 검증 과제에서 기존 기준보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

With the increasing popularity of smart devices, rumors with multimedia content become more and more common on social networks. The multimedia information usually makes rumors look more convincing. Therefore, finding an automatic approach to verify rumors with multimedia content is a pressing task. Previous rumor verification research only utilizes multimedia as input features. We propose not to use the multimedia content but to find external information in other news platforms pivoting on it. We introduce a new features set, cross-lingual cross-platform features that leverage the semantic similarity between the rumors and the external information. When implemented, machine learning methods utilizing such features achieved the state-of-the-art rumor verification results.

연구 동기 및 목표

• 가짜 사건에 잘못 연결된 다중미디어 콘텐츠를 포함한 루머를 검증하는 데 도전하는 것.
• 이미지 분석 기술이나 직접적인 이미지 특징에만 의존하는 기존 방법의 한계를 극복하여, 다중미디어 콘텐츠가 진실이지만 맥락적으로 잘못된 경우에도 효과적으로 작동하도록 하는 것.
• 다른 언어와 소셜 미디어 플랫폼 간의 일치성과 의미적 유사성을 포괄하는 일반화 가능한 다국어·다플랫폼 특징 세트를 개발하는 것.
• 영어와 같은 자원이 풍부한 언어에서의 지식을 전이하여 자원이 적은 언어에서의 효과적인 루머 검증을 가능하게 하는 것.
• 이미지 기반 검색을 통해 트위터 루머 데이터셋을 확장하여 새로운 데이터셋 CCMR를 구축하는 것.

제안 방법

• 이 방법은 이미지 기반 검색을 통해 트위터 루머 데이터셋을 구글과 바이두의 웹 페이지로 확장하여 새로운 데이터셋 CCMR를 구축한다.
• 다국어·다플랫폼 특징을 도입하여 서로 다른 언어와 플랫폼의 외부 웹 콘텐츠와 루머 텍스트 간의 의미적 유사도를 계산한다.
• 프리트레이닝된 문장 인코더(BERT 등)를 사용하여 루머 텍스트와 외부 웹페이지 콘텐츠를 임bedding하여 다국어 의미 매칭을 가능하게 한다.
• 구글과 바이두의 특징을 융합하는 신경망 모델인 Combo를 구축하여 단일 플랫폼 기반 모델보다 더 높은 내구성과 성능을 확보한다.
• 영어 루머(구글 기반)에서 학습한 모델을 중국어 루머(바이두 기반)에서 테스트함으로써 공유 의미 특징을 활용하여 전이 학습을 적용한다.
• 도메인 내 및 제로샷 다국어 설정에서 F1 점수를 사용하여 성능을 평가함으로써 일반화 능력과 전이 가능성 검증

실험 결과

연구 질문

• RQ1 다양한 플랫폼과 언어에서의 외부 웹 콘텐츠가 다중미디어 포렌식스나 직접적인 이미지 특징에 의존하는 것보다 루머 검증 성능을 향상시키는가?
• RQ2 다른 플랫폼에서 온 외부 뉴스와의 의미적 유사도가 가짜 정보 탐지에 얼마나 효과적인가?
• RQ3 영어와 같은 자원이 풍부한 언어에서 학습한 특징이 중국어와 같은 자원이 적은 언어의 루머 검증에 효과적으로 전이되는가?
• RQ4 다양한 언어와 플랫폼의 정보를 융합하는 것과 단일 플랫폼이나 언어를 사용하는 것과의 성능 비교는 어떻게 되는가?
• RQ5 외부 웹 콘텐츠의 품질과 관련성(Baidu vs. Google)이 검증 성능에 얼마나 영향을 미치는가?

주요 결과

• 제안된 다국어·다플랫폼 특징은 MediaEval 2015 VMU 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법을 압도한다.
• 구글과 바이두의 특징을 융합한 Combo 모델은 TFB(바이두 전용)와 TFG(구글 전용)보다 유의미하게 뛰어난 성능을 보이며, 다중 플랫폼 정보의 가치를 입증한다.
• 전이 학습을 통해 자원이 적은 언어에서 효과적인 검증이 가능해졌으며, 중국어 루머(CCMR 바이두)의 평균 F1 점수는 무작위 기준(0.312)에서 전이 모델(0.531)로 향상되었다.
• 이벤트 05(Bring Back Our Girls)에서 전이 모델은 F1 점수 0.923을 기록하여 영향력 있는 루머에 대한 강력한 일반화 능력을 보였다.
• 의미적 이질성에 대해서도 강건함을 입증: 바이두 웹 페이지가 하위 주제에 집중하더라도 다국어 특징은 여전히 효과적인 검증을 가능하게 했다.
• 약자 갈등(예: 이벤트 07, Passport hoax)은 다중 플랫폼 및 다국어 일치 기능이 인간 레이블의 모순을 해결하는 데 도움이 될 수 있음을 시사했다.