[논문 리뷰] "Don't quote me on that": Finding Mixtures of Sources in News Articles

Alexander Spangher, Nanyun Peng외 2명|arXiv (Cornell University)|2021. 04. 19.

Topic Modeling참고 문헌 19인용 수 8

한 줄 요약

이 논문은 뉴스 기사 내 소스 유형의 혼합체를 소속과 역할 기반으로 식별하는 확률적 그래픽 모델을 제안하며, 전문가 평가 기반 소스 유형 추론에서 80%의 정확도를 달성한다. 이는 저널리즘 전략적 소스 선택을 모델링함으로써 기사 보도의 소스 격차 탐지 및 추세 분석을 향상시켜 계산적 저널리즘 분야의 발전을 이룬다.

ABSTRACT

Journalists publish statements provided by people, or extit{sources} to contextualize current events, help voters make informed decisions, and hold powerful individuals accountable. In this work, we construct an ontological labeling system for sources based on each source's extit{affiliation} and extit{role}. We build a probabilistic model to infer these attributes for named sources and to describe news articles as mixtures of these sources. Our model outperforms existing mixture modeling and co-clustering approaches and correctly infers source-type in 80\% of expert-evaluated trials. Such work can facilitate research in downstream tasks like opinion and argumentation mining, representing a first step towards machine-in-the-loop extit{computational journalism} systems.

연구 동기 및 목표

• 소속과 역할 기반으로 뉴스 소스의 체계적 온톨로지 구축을 통해 저널리즘에서의 소스 사용 방식을 더 잘 이해하고자 한다.
• 기사 보도를 소스 유형의 확률적 혼합체로 모델링하여 저널리스트의 소스 선택 전략을 반영하고자 한다.
• 기존의 혼합 모델링 및 공중립 클러스터링 방법을 초월해 소스 유형 예측 정확도를 향상시키고자 한다.
• 의견 마이닝, 논거 분석 및 계산적 저널리즘 도구와 같은 후속 응용 프로그램을 가능하게 하고자 한다.
• 시간 경과와 뉴스 장르에 따라 소스 사용 방식의 편향을 탐색하고자 한다.

제안 방법

• 저자들은 소속(예: 정부, NGO, 학술 기관)과 역할(예: 의사결정자, 전문가, 피해자)을 조합하여 총 25개의 소스 유형을 포함하는 소스 온톨로지를 정의한다.
• 기사 유형과 소스 연관 단어를 바탕으로 소스 유형을 추론하는 확률적 그래픽 모델을 구축한다.
• 모델은 PMI(Pointwise Mutual Information)를 사용하여 각 소스 유형에 대한 주제 연관성을 식별하고, 언어적 특징과 소스 역할 간의 연결을 수립한다.
• 각 기사는 소스 유형에 대한 분포로 표현되며, 전문가가 주석 처리한 데이터를 활용한 지도 학습을 통해 학습되는 혼합 모델링 접근법을 적용한다.
• 모델 평가에는 전문가가 주석 처리한 테스트 세트를 사용하며, 소스 유형 분류의 예측 정확도를 측정한다.
• 다양한 뉴스 장르가 다른 소스 혼합체를 선호함을 고려하여 문서 유형 사전 확률을 도입함으로써 소스 유형 추론 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 소속과 역할을 기반으로 뉴스 기사 내 소스를 체계적으로 분류할 수 있는 방법은 무엇인가?
• RQ2 기사의 내용과 장르를 바탕으로 확률적 모델이 소스 유형의 혼합체를 얼마나 정확히 예측할 수 있는가?
• RQ3 다양한 유형의 뉴스 기사(예: 재난, 분석, 정치 보도) 간 소스 사용 패턴은 어떻게 다를까?
• RQ4 시간 경과에 따라 소스 사용 패턴의 변화를 탐지할 수 있으며, 이는 미디어 접근성 또는 제도적 투명성의 변화를 어떻게 반영하는가?
• RQ5 이 모델을 통해 저널리즘 초안에서 누락되거나 부족하게 표현된 소스 유형을 식별할 수 있는가?

주요 결과

• 모델은 전문가 평가 기반 시험에서 소스 유형 예측 정확도가 80%에 도달하며, 기존의 혼합 모델링 및 공중립 클러스터링 기반 기준을 크게 앞서간다.
• 모델은 1999년에서 2002년 사이 뉴욕타임스의 1면 기사에서 고위 정부 관료의 비중이 줄어들고 학술 전문가의 비중이 증가한 것을 확인했으며, 이는 정부 소스 접근성 감소 가능성을 반영할 수 있다.
• 문서 유형은 소스 유형 혼합체에 강력한 영향을 미친다. 예를 들어, '재난' 기사(Doc-Type 3)는 정부 의사결정자와 피해자-변호사를 더 많이 포함하지만, '분석' 기사(Doc-Type 16)는 기업 및 학술 전문가를 중심으로 구성된다.
• 소스 유형은 고유한 언어적 주제와 강하게 연관되어 있다. 예를 들어, '학술 전문가' 소스는 '연구', '연구', '병원' 등의 어휘와 연결되며, '기업 의사결정자' 소스는 '일', '생각', '기여' 등의 어휘와 관련된다.
• 모델은 소스 사용의 편집적 규범을 드러내며, 예를 들어 정치 기사에서는 '목격자-일반인' 소스의 사용이 증가하고, 공식 성명에서는 '정부 대변인' 소스의 사용이 높아진다.
• 이 시스템은 초안 기사의 소스 격차를 탐지할 수 있어, 머신-인-더-루프 저널리즘 도구에서 실용적 유용성을 보여준다.