[논문 리뷰] A Survey on Predicting the Factuality and the Bias of News Media

Preslav Nakov, Hüsrev Taha Sencar외 2명|arXiv (Cornell University)|2021. 03. 16.

Misinformation and Its Impacts참고 문헌 76인용 수 13

한 줄 요약

이 종합 검토는 뉴스 기사 텍스트 외에도 다양한 소스와 다중 모odal 데이터를 활용하여 미디어의 사실성과 정치적 편향을 통합적으로 모델링하는 프레임워크를 제안한다. 소스 수준의 프로파일링 분야의 최신 기법을 검토하며, 데이터 부족과 동적 평가 등 도전 과제를 강조하고, 비영어 미디어, 영상 뉴스, 미디어 리터러시를 위한 실질적 구현 분야의 미래 방향을 제시한다.

ABSTRACT

The present level of proliferation of fake, biased, and propagandistic content online has made it impossible to fact-check every single suspicious claim or article, either manually or automatically. Thus, many researchers are shifting their attention to higher granularity, aiming to profile entire news outlets, which makes it possible to detect likely "fake news" the moment it is published, by simply checking the reliability of its source. Source factuality is also an important element of systems for automatic fact-checking and "fake news" detection, as they need to assess the reliability of the evidence they retrieve online. Political bias detection, which in the Western political landscape is about predicting left-center-right bias, is an equally important topic, which has experienced a similar shift towards profiling entire news outlets. Moreover, there is a clear connection between the two, as highly biased media are less likely to be factual; yet, the two problems have been addressed separately. In this survey, we review the state of the art on media profiling for factuality and bias, arguing for the need to model them jointly. We further discuss interesting recent advances in using different information sources and modalities, which go beyond the text of the articles the target news outlet has published. Finally, we discuss current challenges and outline future research directions.

연구 동기 및 목표

• 최근 뉴스 미디어 전체에 대한 사실성과 정치적 편향을 프로파일링하는 데의 발전을 검토하고 통합한다.
• 사실성과 편향 간의 강한 상호의존성 고려 시, 이 둘을 동시에 모델링할 것을 주장한다.
• 데이터 가용성, 애너테이션 변동성, 모델의 강건성 등 핵심 과제를 특정하고 분석한다.
• 기사 텍스트 외에도 소셜 미디어, 위키백과, 메타데이터 등 다양한 정보 소스의 활용 가능성을 탐색한다.
• 비영어 미디어, 영상 뉴스, 최종 사용자를 위한 실질적 도구에 대한 향후 연구 방향을 제시한다.

제안 방법

• Media Bias/Fact Check와 AllSides 등의 소스에서 제공하는 골드 스탠다드 레이블을 활용해 기존의 미디어 프로파일링 연구를 종합한다.
• 텍스트 콘텐츠, 소셜 미디어 활동, URL 구조, 메타데이터를 조합해 소스 신뢰성 평가 방법을 평가한다.
• 순서척도에서 사실성과 편향을 동시에 예측하는 다중 작업 순서 회귀 모델을 분석한다.
• 위키백과 언급, 트위터 프로필, 트래픽 데이터와 같은 간접적 신호를 활용해 미디어 신뢰성 추론 방법을 검토한다.
• 저자원 언어 환경에서의 사전 훈련 다국어 모델과 전이 학습의 활용을 평가한다.
• 번역 및 시각 모달리티 통합을 포함한 뉴스 클립에 대한 엔드 투 엔드 영상 분석 기법을 논의한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 없는 뉴스 소스 탐지 성능을 향상시키기 위해 사실성과 정치적 편향을 어떻게 통합적으로 모델링할 수 있는가?
• RQ2 기사 내용 외에 어떤 비텍스트적·비기사 데이터 소스(예: 소셜 미디어, 메타데이터)가 미디어 프로파일링을 향상시킬 수 있는가?
• RQ3 미디어 평가의 동적 변화가 학습 데이터의 신뢰성과 모델 일반화에 어떤 영향을 미치는가?
• RQ4 비영어 및 비서구 정치 체계에 대한 미디어 프로파일링을 확장할 때의 핵심 과제는 무엇인가?
• RQ5 영상 뉴스 콘텐츠를 엔드 투 엔드 방식으로 분석해 편향과 사실성 문제를 탐지하는 방법은 무엇인가?

주요 결과

• 사실성과 편향에 대한 기존 데이터셋은 크기가 작으며, 일반적으로 수백에서 수천 개의 뉴스 미디어만 포함되어 있다.
• 사람이 애너테이션한 사실성 및 편향 평가는 본질적으로 동적으로 변화하며 시간이 지남에 따라 변할 수 있어 모델 평가에 영향을 준다.
• 다중 작업 순서 회귀를 통한 사실성과 편향의 통합 모델링은 단일 작업 접근보다 성능이 향상된다.
• 현재 연구는 주로 영어 기반 미디어에 국한되어 있으며, 비영어 또는 다당파 정치 체계를 다루는 연구는 거의 없다.
• 영상 뉴스 분석은 아직 다루지 않은 분야이며, 대부분의 연구가 번역본 기반 분석에 의존하고 있으며 엔드 투 엔드 영상 처리 기법은 미흡하다.
• Media Bias/Fact Check와 AllSides와 같은 실질적 도구는 존재하지만, 글로벌 영향을 위해 더 넓은 언어 및 미디어 커버리지가 필요하다.