[논문 리뷰] Experiments in Detecting Persuasion Techniques in the News

Seunghak Yu, Giovanni Da San Martino외 1명|arXiv (Cornell University)|2019. 11. 15.

Misinformation and Its Impacts참고 문헌 11인용 수 16

한 줄 요약

이 논문은 뉴스 기사 내 특정 선전 기법을 탐지하기 위한 세분화된 작업을 제안하며, 문장 수준 및 조각 수준 분류를 동시에 활용하는 다중 해상도 신경망을 도입하여 BERT 기반 기준 모델을 초월한다. 모델은 조각 수준 분류에서 F1 점수 22.58, 문장 수준 분류에서 60.71을 기록하여 미디어 편향 탐지의 설명 가능성을 향상시킨다.

ABSTRACT

Many recent political events, like the 2016 US Presidential elections or the 2018 Brazilian elections have raised the attention of institutions and of the general public on the role of Internet and social media in influencing the outcome of these events. We argue that a safe democracy is one in which citizens have tools to make them aware of propaganda campaigns. We propose a novel task: performing fine-grained analysis of texts by detecting all fragments that contain propaganda techniques as well as their type. We further design a novel multi-granularity neural network, and we show that it outperforms several strong BERT-based baselines.

연구 동기 및 목표

• 세분화된 선전 기법 탐지의 한계를 해결하기 위해 조각 수준에서 특정 선전 기법을 식별하는 데 초점을 맞춘다.
• 사용자가 기사가 선전적이라고 경고받는 이유를 설명할 수 있는 더 설명 가능한 AI 시스템을 개발한다.
• 조각 수준에서 고도로 정제된 전문가 주석을 사용하여 원거리 감독에서 발생하는 노이즈를 줄인다.
• 사용자가 뉴스 콘텐츠 내 미묘한 설득 기법을 인식하도록 훈련시켜 더 나은 미디어 리터러시를 가능하게 한다.
• 451개의 뉴스 기사에 걸쳐 18종의 선전 기법을 포함한 벤치마크 데이터셋을 구축한다.

제안 방법

• 공유된 BERT 문맥 임베딩을 사용하여 동시에 문장 수준 분류(SLC)와 조각 수준 분류(FLC)를 수행하는 새로운 다중 해상도 신경망을 제안한다.
• 문장 수준 예측에서 조각 수준 분류로의 정보 흐름을 제어하는 게이트 메커니즘을 도입하여, 비선전적 문장을 걸러내어 정밀도를 향상시킨다.
• SLC에 이진 교차 엔트로피, FLC에 다중 분류 교차 엔트로피를 조합한 하이브리드 손실 함수를 사용하며, 과제 간 균형을 맞추기 위해 하이퍼파라미터 α로 가중치를 조정한다.
• 부분 일치에 대한 보상을 부여하기 위해, 조각 예측에 대해 부분 일치 점수를 계산하는 문자 수준 겹침 함수 C(s,t,h)를 적용하여, 완벽한 스패닝이 아닌 경우에도 강건한 평가를 가능하게 한다.
• ReLU 및 시그모이드 게이트를 사용하여 문장 수준에서 토큰 수준 분류로의 정보 흐름을 제어하며, 제거 실험 결과 시그모이드가 더 우수한 성능을 보였다.
• 3개의 폴드로 나누어진 훈련/검증/테스트 세트를 사용하여 451개의 뉴스 기사, 총 7,485개의 선전 기법 인스턴스(18종류)로 구성된 정제된 데이터셋에서 BERT를 피지컬 튜닝한다.

실험 결과

연구 질문

• RQ1 기존의 BERT 기반 모델과 비교해 볼 때, 다중 해상도 신경망이 뉴스 기사 내 특정 선전 기법 탐지에 효과적인가?
• RQ2 문장 수준 예측을 조각 수준 분류의 게이트로 활용할 경우, 선전 조각 탐지의 정밀도와 재현율이 향상되는가?
• RQ3 문장 수준 및 조각 수준 작업을 동시에 학습함으로써 성능과 설명 가능성은 어느 정도 향상되는가?
• RQ4 부분 일치 보상 기반 평가 지표는 세분화된 선전 기법 탐지 성능 측정에 얼마나 효과적인가?
• RQ5 클래스 불균형이 존재하는 상황에서도, 희귀 선전 기법(예: 허수 대상, 허수 흐름)을 탐지하는 데 모델이 일반화 가능한가?

주요 결과

• 시그모이드 게이트를 사용한 다중 해상도 모델은 조각 수준 분류(FLC) 작업에서 F1 점수 22.58을 기록하여 모든 BERT 기반 기준 모델을 능가했다.
• 토큰 수준 예측을 활용함으로써 재현율 향상 덕분에, BERT 기준 모델 대비 문장 수준 분류(SLC) F1 점수가 3.24%p 향상되어 60.71에 도달했다.
• 문장 수준 출력을 필터로 사용한 BERT-Granularity 모델은 FLC에서 F1 점수 21.80으로 약간의 향상을 보였다.
• ReLU 게이트 버전은 정밀도(23.98)는 높지만 재현율(20.33)은 낮아 시그모이드 게이트(24.42 F1)에 비해 더 균형 잡힌 성능을 보였다.
• 희귀 기법인 허수 대상(15개 인스턴스)과 같은 경우 성능이 제한적이었으며, 자원이 부족한 선전 유형에서의 과제를 드러냈다.
• 가중치 손실(α=0.9 for SLC, α=0.1 for FLC)을 사용한 공동 학습 전략은 클래스 불균형을 효과적으로 균형 잡고 전체 일반화 성능을 향상시켰다.