[논문 리뷰] Analyzing Political Bias and Unfairness in News Articles at Different Levels of Granularity

Wei-Fan Chen, Khalid Al‐Khatib외 2명|arXiv (Cornell University)|2020. 10. 20.

Misinformation and Its Impacts참고 문헌 17인용 수 4

한 줄 요약

이 논문은 단어, 문장, 파aragraph, 논의 수준 등 다양한 텍스트 군집에서 뉴스 기사의 정치적 편향과 부당성 여부를 탐지하기 위한 신경망 기반 접근법을 제안한다. 새로 구축한 6,964편의 레이블이 부여된 코퍼스를 사용하여, 역방향 기능 분석을 적용한 결과, 편향이 기사의 최종 부분에서 가장 두드러지게 나타나며, 단어 수준에서는 부정적 정서와 현재 시제 중심의 언어가 주요 지표로 작용하고, 부당성 탐지 성능(83.42% F1)이 정치적 편향 탐지 성능(75.42% F1)보다 뛰어나다는 것이 확인되었다.

ABSTRACT

Media organizations bear great reponsibility because of their considerable influence on shaping beliefs and positions of our society. Any form of media can contain overly biased content, e.g., by reporting on political events in a selective or incomplete manner. A relevant question hence is whether and how such form of imbalanced news coverage can be exposed. The research presented in this paper addresses not only the automatic detection of bias but goes one step further in that it explores how political bias and unfairness are manifested linguistically. In this regard we utilize a new corpus of 6964 news articles with labels derived from adfontesmedia.com and develop a neural model for bias assessment. By analyzing this model on article excerpts, we find insightful bias patterns at different levels of text granularity, from single words to the whole article discourse.

연구 동기 및 목표

• 단어에서 논의 수준에 이르기까지 다양한 텍스트 군집 수준에서 정치적 편향과 부당성이 언어적으로 어떻게 나타나는지 조사하기 위해.
• 새로운 대규모 레이블링된 코퍼스를 활용해 뉴스 기사의 편향과 부당성을 탐지할 수 있는 강력하고 학습 가능한 분류기 개발을 위해.
• 기사의 텍스트 구조에 따라 편향이 어떻게 축적되는지에 초점을 맞춰 편향의 순차적 패턴을 밝혀내기 위해.
• 모델 훈련 후 및 임의의 의미 수준에서 적용 가능한 비지도 역방향 기능 분석을 통해 편향 탐지 모델의 더 깊은 해석 가능성 확보를 위해.
• 미래의 미디어 편향 및 저널리즘의 공정성에 관한 연구를 위해 공개 가능한 고품질 코퍼스 제공을 위해.

제안 방법

• allsides.com과 adfontesmedia.com의 데이터를 활용해 주제, 정치적 편향, 부당성에 대해 레이블이 부여된 6,964편의 뉴스 기사로 구성된 새로운 코퍼스를 구축하였다.
• 뉴스 기사의 정치적 편향, 부당성, 비객관성 여부를 탐지하기 위해 순환 신경망(RNN) 분류기를 훈련시켰다.
• 단어, 문장, 파라그래프, 논의 수준에서 주목할 만한 텍스트 세그먼트를 식별함으로써 예측 결과를 해석하기 위해 역방향 기능 분석을 적용하였다.
• 특히 정서적 및 인지적 언어에 초점을 맞춰, 언어적 특징과 편향 유형 간의 상관관계를 파악하기 위해 LIWC(Linguistic Inquiry and Word Count) 카테고리 사용하였다.
• 정규화된 점수를 사용해 텍스트 세그먼트별 편향 강도를 시각화하여, 기사의 마지막 1/4에서 편향이 가장 강하게 나타남을 확인하였다.
• 모델 재훈련이나 사전 정의된 세그먼테이션 없이도 주목도 유사 중요도 점수를 추출할 수 있도록 비지도 역방향 기능 분석을 활용하였다.

실험 결과

연구 질문

• RQ1 단어에서 전체 논의 수준에 이르기까지 다양한 텍스트 군집 수준에서 정치적 편향과 부당성은 언어적으로 어떻게 나타나는가?
• RQ2 정서어, 현재 시제 중심의 초점 등 어떤 언어적 특징이 정치적 편향과 부당성과 가장 강하게 관련되어 있는가?
• RQ3 뉴스 기사의 어느 부분—문장, 문단, 또는 논의 수준에서 편향이 가장 높게 나타나는가?
• RQ4 정치적 편향, 부당성, 비객관성의 세 유형 간에 편향의 순차적 패턴은 어떻게 다를까?
• RQ5 주의 메커니즘 또는 모델 재훈련에 의존하지 않고도 역방향 기능 분석이 편향의 핫스팟을 효과적으로 식별할 수 있는가?

주요 결과

• RNN 모델은 비객관성에 대해 75.42%의 F1 스코어, 부당성에 대해 83.42%의 F1 스코어, 정치적 편향에 대해도 75.42%의 F1 스코어를 기록하여, 특히 부당성 탐지에서 뛰어난 성능을 보였다.
• 뉴스 기사의 마지막 1/4에서 항상 가장 높은 편향 강도를 보였으며, 특히 마지막 문단과 문장에서 정치적 편향과 부당성이 가장 심했다.
• 단어 수준에서 부정적 정서, 분노, 영향 카테고리가 정치적 편향과 가장 강하게 관련되었고, 현재 시제 중심의 초점이 부당성과 가장 높은 관련성을 보였다.
• '느끼다', '우울함', '묘사하다'와 같은 인지적 어휘는 비객관성과 높은 상관관계를 보이며, 주관적 언어와 객관성 부족 간의 연결 고리를 시사한다.
• 주의 메커니즘 또는 모델 재훈련 없이도 역방향 기능 분석이 문장 및 문단 수준에서 편향 세그먼트를 성공적으로 식별하였다.
• 분석 결과, 부당성은 정치적 편향보다 더 잘 탐지될 수 있었으며, 이는 선택적 사실 보도 및 일방적인 프레임링과 같은 더 명확한 언어적 징후가 있기 때문일 것이다.