[논문 리뷰] Zero-Shot Rumor Detection with Propagation Structure via Prompt Learning

Hongzhan Lin, Pengyao Yi외 5명|arXiv (Cornell University)|2022. 12. 02.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 다국어 및 다양한 도메인에서 루머를 탐지하기 위해 전파 구조와 다국어 사전 훈련된 언어 모델을 활용하는 제로샷 루머 탐지 프레임워크인 반응 인식 프롬프트 학습(RPL)을 제안한다. 반응 스레드 내의 구조적 위치를 모델링하고 가상의 반응 증강 기법을 사용함으로써 RPL은 특히 초기 루머 탐지에서 최신 기술 수준의 성능을 달성하며, 아랍어나 광둥어와 같은 저자원 언어를 포함한 세 개의 실세계 데이터셋에서 기존 방법들보다 크게 뛰어난 성능을 보였다.

ABSTRACT

The spread of rumors along with breaking events seriously hinders the truth in the era of social media. Previous studies reveal that due to the lack of annotated resources, rumors presented in minority languages are hard to be detected. Furthermore, the unforeseen breaking events not involved in yesterday's news exacerbate the scarcity of data resources. In this work, we propose a novel zero-shot framework based on prompt learning to detect rumors falling in different domains or presented in different languages. More specifically, we firstly represent rumor circulated on social media as diverse propagation threads, then design a hierarchical prompt encoding mechanism to learn language-agnostic contextual representations for both prompts and rumor data. To further enhance domain adaptation, we model the domain-invariant structural features from the propagation threads, to incorporate structural position representations of influential community response. In addition, a new virtual response augmentation method is used to improve model training. Extensive experiments conducted on three real-world datasets demonstrate that our proposed model achieves much better performance than state-of-the-art methods and exhibits a superior capacity for detecting rumors at early stages.

연구 동기 및 목표

• 레이블이 부족하거나 존재하지 않는 저자원 언어와 신규 도메인에서 루머를 탐지하는 과제를 해결한다.
• 과거의 제로샷 루머 탐지 방법들이 작업별 미세조정에 의존하거나 전파 역학을 모델링하지 못하는 한계를 극복한다.
• 언어별 문법적 특징과 공통된 의미를 분리하여 다국어 및 다도메인 일반화 성능을 향상시키는 프롬프트 학습 프레임워크를 개발한다.
• 반응 순서와 커뮤니티 영향력과 같은 도메인 불변의 구조적 특징을 전파 스레드에서 모델링하여 도메인 적응성을 향상시킨다.
• 새로운 가상의 반응 증강(ViRA) 기법을 통해 저자원 환경에서 모델의 강건성과 훈련 효율성을 향상시킨다.

제안 방법

• 초기 주장을 둘러싼 반응 포스트를 순위 매김하여 전파 스레드로 루머를 표현함으로써 시간적 및 구조적 역학을 캡처한다.
• 다국어 사전 훈련된 언어 모델(PLM)을 사용하여 의미적 의미와 문법적 편향을 분리하는 계층적 프롬프트 인코딩(HPE) 메커니즘을 설계한다.
• 절대적 및 상대적 반응 위치를 사용하여 루머 확산 패tern의 도메인 불변 특징을 모델링한다.
• 저자원 환경에서의 훈련 향상을 위해 실제적인 반응 시퀀스를 시뮬레이션하는 가상의 반응 증강(ViRA) 기법을 통합한다.
• 다국어 및 다도메인 간의 표현을 정렬하기 위해 원형 기반 파라다임(PV)을 활용하여 제로샷 전이 성능을 향상시킨다.
• 학습 가능한 레이어 선택 메커니즘을 갖춘 SynEncoder를 사용하여 언어적 특징 추출과 의미 일반화 사이의 균형을 맞추며, 6개 레이어에서 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 프롬프트 기반 프레임워크는 레이블이 전혀 없는 훈련 데이터 없이 저자원 언어와 새로운 도메인에서 루머를 효과적으로 탐지할 수 있는가?
• RQ2 반응 순서와 커뮤니티 영향력과 같은 전파 구조적 특징은 제로샷 루머 탐지 성능에 어떻게 기여하는가?
• RQ3 가상의 반응 증강(ViRA)이 저자원 루머 탐지 시나리오에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 표준 프롬프트 튜닝 대비 계층적 프롬프트 인코딩은 다국어 및 다도메인 적응에 어떻게 향상되는가?
• RQ5 제로샷 루머 탐지 모델에서 언어적 특징 추출과 의미 일반화 사이의 최적의 균형은 무엇인가?

주요 결과

• RPL은 아랍어나 광둥어와 같은 저자원 언어를 포함한 세 개의 실세계 루머 탐지 벤치마크에서 최신 기술 수준의 성능을 달성했으며, WEIBO 데이터셋에서 매크로 F1이 0.664에 도달했다.
• CatAr-COVID19 데이터셋에서 20개의 반응 포스트만으로도 포화된 초기 탐지 성능에 도달했고, Twitter-COVID19에서는 4시간 이내에 동일한 성능에 도달하여 강력한 초기 탐지 능력을 입증했다.
• 제거 실험 결과, 계층적 프롬프트 인코딩(HPE)을 제거할 경우 성능이 크게 하락함(0.617에서 0.451로 F1 감소)하여, 의미 지식 유지에 있어 핵심적인 역할을 한다는 점을 확인했다.
• 가상의 반응 증강(ViRA)은 제한된 입력 길이와 노이즈가 있는 반응 환경에서도 강건성을 향상시키며, 다양한 제거 실험 설정에서 일관된 성능 향상을 보였다.
• 원형 기반 파라다임(PV)과 반응 위치 모델링(RPP)은 모두 필수적이며 상호 보완적이며, 둘 중 하나를 제거할 경우 성능이 크게 떨어졌다.
• SynEncoder 레이어 선택 분석 결과, PLM의 하위 6개 레이어를 사용할 경우 최적의 성능를 달성했으며, 언어적 특징 추출과 의미 일반화 사이의 균형을 잘 맞춘 것으로 나타났다.