[논문 리뷰] How to Effectively Identify and Communicate Person-Targeting Media Bias in Daily News Consumption?

Felix Hamborg, Timo Spinde외 3명|arXiv (Cornell University)|2021. 10. 18.

Media Influence and Politics참고 문헌 14인용 수 4

한 줄 요약

이 논문은 뉴스 기사에서 사람을 대상으로 하는 미디어 편향을 자동으로 식별하고 통신하는 데 있어 수작업 콘텐츠 분석을 모방하는 최초의 자동화된 시스템을 제시한다. 대규모 조합 실험을 통해 시스템은 특히 문장 수준에서 편향 그룹과 극성 프레임을 시각화할 경우 사용자의 편향 인식을 크게 향상시켰으며, 이는 이전의 기업 또는 기사 수준에서만 편향을 탐지하는 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Slanted news coverage strongly affects public opinion. This is especially true for coverage on politics and related issues, where studies have shown that bias in the news may influence elections and other collective decisions. Due to its viable importance, news coverage has long been studied in the social sciences, resulting in comprehensive models to describe it and effective yet costly methods to analyze it, such as content analysis. We present an in-progress system for news recommendation that is the first to automate the manual procedure of content analysis to reveal person-targeting biases in news articles reporting on policy issues. In a large-scale user study, we find very promising results regarding this interdisciplinary research direction. Our recommender detects and reveals substantial frames that are actually present in individual news articles. In contrast, prior work rather only facilitates the visibility of biases, e.g., by distinguishing left- and right-wing outlets. Further, our study shows that recommending news articles that differently frame an event significantly improves respondents' awareness of bias.

연구 동기 및 목표

• 자동화된 시스템이 자주 간과되는 미묘한, 사람 중심의 정치 뉴스 보도에서의 편향을 식별하는 데 도전하는 것.
• 수작업 콘텐츠 분석을 자동화하는 시스템을 개발하여, 이전에는 너무 비용이 많이 들고 시간이 오래 걸려 수행하기 어려웠던 뉴스 프레임의 편향 탐지를 가능하게 하는 것.
• 개별 기사 내에서 편향 그룹과 극성 프레임을 효과적으로 시각화하여 뉴스 소비자들이 편향을 더 잘 인지할 수 있도록 돕는 것.
• 비전문가 사용자들이 편향을 더 잘 인지하게 하는 데 가장 효과적인 편향 탐지 및 시각화 구성 요소를 경험적으로 측정하는 것.
• 이전 연구가 헤드라인이나 전체 기업 수준에 국한된 것과 달리, 문장 수준에서 작동하는 확장 가능하고 모듈러한 솔루션을 제공하여 편향에 민감한 뉴스 추천을 가능하게 하는 것.

제안 방법

• 시스템은 네 가지 분석 작업을 수행한다: (1) 사람을 대상으로 하는 프레임 식별, (2) 공통된 프레임을 가진 기사 그룹화, (3) 개인에 대한 극성(긍정/부정) 탐지, (4) 자연어 처리 기법을 사용해 편향 문장 추출 및 레이블링.
• 두 가지 주요 뷰를 가진 모듈러 시각화 설계를 사용한다: 개요 뷰는 편향 그룹과 극성 맥락을 보여주며, 기사 뷰는 편향 문구에 대한 인라인 하이라이트를 제공한다.
• 각 구성 요소(예: MFAP 태그, PolSides 태그)의 효과를 측정하기 위해 조합 실험 설계를 적용한다.
• 특히 정치적 프레임과 콘텐츠 분석을 바탕으로 한 사회과학 모델을 활용하여, 표면적인 차이가 아닌 미묘한 콘텐츠 기반 편향을 탐지할 수 있도록 보장한다.
• 대규모 사용자 연구(N=200)를 통해 시스템을 평가하였으며, 익명화된 데이터와 자료를 공개하였다.
• 시스템은 실제 정치 이벤트인 미국의 부채한도, 무기 통제, 산불에 대한 뉴스 보도를 대상으로 훈련 및 테스트하여 실제 세계의 관련성을 확보하였다.

실험 결과

연구 질문

• RQ1 자동화된 시스템은 기사나 기업 수준이 아닌 문장 수준에서 사람을 대상으로 하는 편향을 탐지할 수 있는가?
• RQ2 편향 그룹 레이블, 극성 지표, 또는 인라인 하이라이트와 같은 시각화 구성 요소 중에서 사용자의 편향 인식을 가장 효과적으로 향상시키는 것은 무엇인가?
• RQ3 동일한 사건에 대해 다른 프레임을 가진 뉴스 기사를 추천하는 것이 사용자의 편향 인식을 실제로 향상시키는가?
• RQ4 시스템의 개별 구성 요소(예: MFAP, PolSides 태그)가 편향 인식 향상에 독립적으로 기여하는 정도는 어떠한가?
• RQ5 주제의 복잡성과 사용자 인구통계학적 특성이 뉴스 추천에서 편향 소통의 효과성에 영향을 미치는 정도는 어느 정도인가?

주요 결과

• 시스템의 개요 뷰 시각화는 편향 인식을 크게 향상시켰으며, PolSides 태그를 사용할 경우 편향 인식 척도에서 추정 효과가 7.83에 달했다.
• MFAP(Media Frame Analysis Profile) 시각화만으로도 추정 효과가 5.87에 달하여, 심지어 기본적인 편향 레이블링만으로도 인식 향상이 가능하다는 것을 시사한다.
• 태그를 전혀 표시하지 않은 경우(MFAP (none))가 가장 높은 편향 인식 효과(6.13)를 보였으며, 이는 과도한 시각적 신호가 오히려 효과를 떨어뜨릴 수 있음을 시사한다.
• 기사 뷰에서는 오직 PolSides 태그만이 유의미한 긍정적 영향을 미쳤으며(2.45), MFAP 태그와 극성 바는 유의미한 영향을 보이지 않았다.
• 인라인 하이라이트 수는 편향 인식의 유의미한 예측 변수였다: 더 많은 하이라이트가 있을수록 인식 수준이 높아졌으며, 다른 요소들을 통제할 경우 더욱 두드러졌다.
• 주제의 복잡성이 효과성에 영향을 미쳤다: 응답자들은 부채한도 주제를 '너무 복잡하다'거나 '지루하다'고 느껴, 참여도와 인식 수준이 떨어졌다.