[논문 리뷰] Multi-Task Ordinal Regression for Jointly Predicting the Trustworthiness and the Leading Political Ideology of News Media

Ramy Baly, Georgi Karadzhov외 3명|arXiv (Cornell University)|2019. 04. 01.

Misinformation and Its Impacts참고 문헌 39인용 수 5

한 줄 요약

이 논문은 보조 작업으로 중심성과 초파벌주의를 활용하여 신문 매체의 신뢰성(3단계 척도)과 정치적 성향(7단계 좌우 척도)을 동시에 예측하는 다중 작업 순서 회귀 프레임워크를 제안한다. 신뢰성과 정치적 편향 간의 내재된 상관관계를 공유된 표현 학습을 통해 활용함으로써 사실성 예측의 MAE를 최대 0.118 감소시키고 편향 예측의 MAE를 0.295 감소시켜 의미 있는 성능 향상을 달성한다.

ABSTRACT

In the context of fake news, bias, and propaganda, we study two important but relatively under-explored problems: (i) trustworthiness estimation (on a 3-point scale) and (ii) political ideology detection (left/right bias on a 7-point scale) of entire news outlets, as opposed to evaluating individual articles. In particular, we propose a multi-task ordinal regression framework that models the two problems jointly. This is motivated by the observation that hyper-partisanship is often linked to low trustworthiness, e.g., appealing to emotions rather than sticking to the facts, while center media tend to be generally more impartial and trustworthy. We further use several auxiliary tasks, modeling centrality, hyperpartisanship, as well as left-vs.-right bias on a coarse-grained scale. The evaluation results show sizable performance gains by the joint models over models that target the problems in isolation.

연구 동기 및 목표

• 독립된 이元 또는 다중 클래스 작업이 아닌 순서 척도로 뉴스 매체의 신뢰성과 정치적 성향을 예측하는 데 아직 탐색되지 않은 문제를 해결하기 위해.
• 초파벌주의가 종종 낮은 사실성 보도와 관련이 있음을 고려하여, 매체의 신뢰성과 정치적 편향 간의 공동 관계를 모델링하기 위해.
• 중심성, 초파벌주의, 그리고 근사한 편향 분류와 같은 보조 작업을 사용하여 예측 성능을 향상시키기 위해.
• 다중 작업 학습을 통한 순서 회귀가 사실성 및 편향 예측 작업 모두에서 단일 작업 기반 모델보다 뛰어난 성능을 보임을 입증하기 위해.
• 가짜 뉴스와 매체 편향과의 전반적 대응을 지원하기 위해 신뢰할 수 없는 또는 편향된 매체 소스를 조기에 탐지할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 뉴스 매체의 신뢰성(3단계 척도)과 정치적 성향(좌우 7단계 척도)을 동시에 모델링하는 다중 작업 순서 회귀를 사용한다.
• 보조 작업으로 중심성(중심 vs. 비중심), 초파벌주의(극단적 vs. 비극단적), 그리고 근사한 편향(3단계 및 5단계 척도)이 포함된다.
• 신뢰성과 편향 예측 간 지식 전이를 가능하게 하기 위해 작업 간 공유된 표현을 활용한다.
• 모델은 순서 회귀 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 평가의 주요 지표로 평균 절대 오차(MAE)를 사용한다.
• 모델은 사실 확인 기자들이 애너테이션한 뉴스 매체 데이터셋을 대상으로 평가되며, 신뢰성과 정치적 편향에 대한 골드 표준 레이블이 제공된다.
• 통계적 유의성은 MAE 점수에 대해 양측 t-검정을 사용하여 기준 모델 대비 성능 향상 여부를 검증한다.

실험 결과

연구 질문

• RQ1 독립적으로 모델링하는 것과 비교해 신뢰성과 정치적 성향을 함께 모델링하면 예측 성능이 향상되는가?
• RQ2 중심성과 초파벌주의와 같은 보조 작업을 통합할 경우, 신뢰성과 편향 예측의 정확도는 어떻게 영향을 받는가?
• RQ3 사실성은 정치적 성향 예측에 유용한 인덕티브 바이어스를 제공하는가, 아니면 혼동 요인을 유발하는가?
• RQ4 다중 작업 순서 회귀는 특히 극단적 좌파와 극단적 우파 편향을 구분하는 데 있어 총 예측 오차를 어느 정도 감소시키는가?
• RQ5 저신뢰성과 초파벌주의 간의 상관관계가 공동 학습 프레임워크에 효과적으로 포착되고 활용되고 있는가?

주요 결과

• 공동 다중 작업 순서 회귀 모델은 사실성 예측에서 평균 절대 오차(MAE) 0.481을 달성하여 단일 작업 기반 모델 대비 12.5% 향상되었다.
• 7단계 척도에서 정치적 성향 예측에 대해 최고 성능을 보인 모델은 MAE 1.475를 기록하여 단일 작업 기반 모델 대비 20.5% 감소했다.
• 사실성, 5단계 편향, 3단계 편향을 보조 작업으로 조합한 경우 최고의 성능을 보였으며, 편향 예측의 MAE는 1.475, MAE M는 1.623이었다.
• 사실성을 보조 작업으로 추가하면 모든 구성에서 MAE가 일관되게 감소하여, 편향 예측에 대해 보완적인 정보를 제공하는 것으로 나타났다.
• 모든 주요 평가 지표에서 다수 클래스 기준 모델(p ≤ 0.001)과 단일 작업 모델(p ≤ 0.02)보다 유의미하게 뛰어난 성능을 보였다.
• 결과는 신뢰성과 정치적 편향을 함께 모델링할 경우 이를 독립된 작업으로 다룰 때보다 더 강력하고 정확한 예측이 가능하다는 것을 확인한다.