[논문 리뷰] Cross-Domain Learning for Classifying Propaganda in Online Contents

Liqiang Wang, Xiaoyu Shen외 2명|arXiv (Cornell University)|2020. 11. 13.

Misinformation and Its Impacts참고 문헌 15인용 수 4

한 줄 요약

이 논문은 정치 연설, 뉴스 기사, 트윗과 같은 레이블이 부여된 자료를 활용하여 다양한 도메인 간 전이가 가능한 선전 탐지용 교차 도메인 학습 프레임워크를 제안한다. 쌍별 순위 매기기 LSTM과 맞춤형 손실 함수(THR)를 사용함으로써, 제한된 레이블 데이터 조건에서도 예측 가능한 일반화 성능을 달성하며, 과장된 언어나 부정적 정서와 같은 핵심 언어적 지표를 선전의 주요 징후로 식별한다.

ABSTRACT

As news and social media exhibit an increasing amount of manipulative polarized content, detecting such propaganda has received attention as a new task for content analysis. Prior work has focused on supervised learning with training data from the same domain. However, as propaganda can be subtle and keeps evolving, manual identification and proper labeling are very demanding. As a consequence, training data is a major bottleneck. In this paper, we tackle this bottleneck and present an approach to leverage cross-domain learning, based on labeled documents and sentences from news and tweets, as well as political speeches with a clear difference in their degrees of being propagandistic. We devise informative features and build various classifiers for propaganda labeling, using cross-domain learning. Our experiments demonstrate the usefulness of this approach, and identify difficulties and limitations in various configurations of sources and targets for the transfer step. We further analyze the influence of various features, and characterize salient indicators of propaganda.

연구 동기 및 목표

• 뉴스, 소셜 미디어, 정치 연설 간 교차 도메인 학습을 통해 레이블이 부족한 선전 데이터 문제를 해결한다.
• 레이블 데이터가 부족한 상황에서 한 종류의 소스에서 다른 종류로 지식을 전이함으로써 도메인 특화 분류기의 한계를 극복한다.
• 다양한 데이터 소스(예: 연설 vs. 뉴스 vs. 트윗)가 교차 도메인 선전 탐지에 대한 훈련 신호로 어떻게 기여하는지 조사한다.
• 단순한 감정 어조를 넘어서 미묘한修辞적 형태의 선전을 포괄하는 강건하고 일반화 가능한 분류 프레임워크를 개발한다.
• 다양한 언어적 특징과 샘플링 전략이 교차 도메인 전이 성능에 미치는 영향을 분석한다.

제안 방법

• 정치 연설(예: 요제프 고벨스), 뉴스 기사, 트윗을 포함한 다중 도메인 데이터셋을 수집하고 애너테이션하며, 선전적 대비 온건한 연설가를 비교하기 위해 쌍별 순서 레이블링 체계를 사용한다.
• 이중 순위 매기기 LSTM 모델인 LSTMR를 설계하여 이진 레이블이 아닌 순위가 매겨진 문장 쌍에서 학습하며, 신뢰도가 높은 순위 쌍을 우선시하는 맞춤형 손실 함수(THR)를 사용한다.
• 어휘적(예: 분노, 저속어, 확신 등 LIWC 카테고리), 문법적, 의미적 특징(예: TF-IDF, BERT 임베딩)을 사용하며, 고유명사 제거를 통해 도메인 편향을 줄인다.
• 쌍별 학습 설정에서 훈련 쌍의 균형을 맞추기 위해 오버샘플링 및 언더샘플링 전략을 구현하고, 그 영향을 모델 일반화 능력에 대해 평가한다.
• 다양한 도메인 전이 방향(예: 뉴스 → 트윗, 연설 → 뉴스)에서 모델을 훈련하고 평가하여 전이 가능성과 강건성 평가를 수행한다.
• 훈련 중 저신뢰도 순위 쌍의 영향을 줄이는 맞춤형 손실 함수(THR)를 도입하여 교차 도메인 성능을 향상시키며, 약간의 내부 도메인 성능 저하를 감수한다.

실험 결과

연구 질문

• RQ1 정치 연설 데이터로 훈련된 모델이 뉴스 기사나 소셜 미디어 게시물의 선전을 분류하는 데 얼마나 일반화되는가?
• RQ2 훈련 도메인의 선택(예: 연설 vs. 뉴스 vs. 트윗)이 교차 도메인 선전 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 특히 제안된 THR 손실 함수가 쌍별 순위 학습에서 교차 도메인 전이 성능에 어떤 영향을 미치는가?
• RQ4 다양한 도메인에서 선전을 가장 잘 나타내는 언어적 특징(예: 정서 강도, 과장, 부정적 정서)은 무엇인가?
• RQ5 오버샘플링 및 언더샘플링 전략이 쌍별 학습 설정에서 교차 도메인 훈련의 안정성과 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 LSTMR 모델에 THR 손실 함수를 적용한 결과, 특히 연설 및 트윗과 같은 교차 도메인 테스트 세트에서 다른 손실 함수보다 뛰어난 성능을 보이며 일반화 능력 향상을 입증한다.
• 특히 뉴스 데이터로 훈련하고 연설 또는 트윗에서 테스트할 경우 높은 F1 스코어를 기록하며 효과적인 지식 전이가 이루어짐을 보여준다.
• LIWC 카테고리(분노, 저속어, 확신 등)와 '거짓', '충격적', '완전히', '파국적인'과 같은 고빈도어휘는 다양한 도메인에서 선전의 강력한 지표로 작용한다.
• 오버샘플링 전략은 성능 향상이 미미하거나 때로는 성능 저하를 초래하여 교차 도메인 환경에서 쌍별 순위 학습에 대한 데이터 증강의 한계를 보여준다.
• 언더샘플링은 혼합된 결과를 보이며, 일부 데이터셋(SPE_A 등)에선 성능 향상이 있으나 다른 곳에선 불안정하거나 성능 저하가 발생하여 데이터 부족 문제의 도메인 특화 어려움을 드러낸다.
• 본 연구는 교차 도메인 학습이 레이블링의 한계를 완화하지만 여전히 큰 성능 격차가 존재함을 규명하며, 더 나은 데이터 증강 및 도메인 불변 표현 학습에 대한 향후 연구의 필요성을 시사한다.