[논문 리뷰] Misinformation Has High Perplexity

Nayeon Lee, Yejin Bang외 2명|arXiv (Cornell University)|2020. 06. 08.

Misinformation and Its Impacts참고 문헌 22인용 수 25

한 줄 요약

이 논문은 신뢰할 수 있는 증거로 프리미엄된 대규모 언어 모델(LMs)의 퍼플렉서티를 활용하여 비지도 학습 기반의 위기정보 검증 방법을 제안한다. 거짓 주장은 진실된 주장보다 유의미하게 높은 퍼플렉서티를 보이며, 이는 새로 공개된 코로나19 관련 테스트 세트에서 지도 학습 모델과 유사한 성능을 달성한다. 주요 기여점은 증거의 품질을 필터링함으로써 중요성을 부각한 것이다.

ABSTRACT

Debunking misinformation is an important and time-critical task as there could be adverse consequences when misinformation is not quashed promptly. However, the usual supervised approach to debunking via misinformation classification requires human-annotated data and is not suited to the fast time-frame of newly emerging events such as the COVID-19 outbreak. In this paper, we postulate that misinformation itself has higher perplexity compared to truthful statements, and propose to leverage the perplexity to debunk false claims in an unsupervised manner. First, we extract reliable evidence from scientific and news sources according to sentence similarity to the claims. Second, we prime a language model with the extracted evidence and finally evaluate the correctness of given claims based on the perplexity scores at debunking time. We construct two new COVID-19-related test sets, one is scientific, and another is political in content, and empirically verify that our system performs favorably compared to existing systems. We are releasing these datasets publicly to encourage more research in debunking misinformation on COVID-19 and other topics.

연구 동기 및 목표

• 빠르게 변화하는 사건, 예를 들어 코로나19 패닉 기간 동안 실시간 위기정보 탐지에 필요한 레이블이 부족한 문제를 해결하기 위해.
• 인간에 의해 주석이 달린 데이터나 메타정보에 의존하지 않는 비지도 접근법을 개발하기 위해.
• 진실 기반 언어 모델에서 유도된 퍼플렉서티가 주장의 거짓성에 대한 신뢰할 수 있는 지표가 될 수 있는지 조사하기 위해.
• 검색된 지원 정보의 품질을 향상시키기 위해 증거 필터링을 통해 검증 성능을 향상시키기 위해.
• 미래 연구를 지원하기 위해 과학적 및 정치적 코로나19 주장에 특화된 두 개의 새로운 도메인 전용 테스트 세트를 공개하기 위해.

제안 방법

• 주장과 문장 유사도를 활용해 과학적 및 뉴스 자료에서 신뢰할 수 있는 증거를 추출한다.
• 추출된 증거로 사전 학습된 언어 모델을 프리미엄하여 진실된 지식 기반으로 고정한다.
• 프리미엄된 언어 모델을 사용해 각 주장의 퍼플렉서티 점수를 계산하여 증거 기반 가능성의 정도를 평가한다.
• 저품질 또는 노이즈가 포함된 증거를 제거하기 위해 필터링 단계를 적용하여 프리미엄 모델의 신뢰성을 향상시킨다.
• 퍼플렉서티를 거짓성의 대체 지표로 사용한다: 높은 퍼플렉서티는 위기정보일 가능성이 높음을 시사한다.
• 기존 방법과의 성능 비교를 위해 두 가지 새로운 테스트 세트—과학적 및 정치적—에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 진실된 증거로 프리미엄된 언어 모델의 퍼플렉서티가 비지도 환경에서 거짓 주장과 진실된 주장 간을 효과적으로 구분할 수 있는가?
• RQ2 증거의 품질이 퍼플렉서티 기반 검증 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 새로 나타난 위기정보에 대해 기존의 비지도 또는 지도 학습 기반 베이스라인을 초월하는가?
• RQ4 특수한 문장 구조를 가진 주장에 대해 퍼플렉서티를 거짓성 지표로 사용할 경우의 실패 모드는 무엇인가? 특히 비표준 문장 구조를 가진 주장에 대해.
• RQ5 과학적 주장과 정치적으로 민감한 주장 간의 도메인 간에서 이 방법이 일반화 가능한가?

주요 결과

• 거짓 주장은 항상 진실된 주장보다 유의미하게 높은 퍼플렉서티를 보이며, 거짓 주장의 평균은 178.2–556.2이고, 진실된 주장의 평균은 테스트 세트에서 10 이하이다.
• LM 기반 검증기의 성능은 지도 학습 기반 베이스라인과 유사하며, 특히 과학적 테스트 세트에서는 F1-Macro에서 11.1% 높은 성능을 기록한다.
• 증거 필터링은 전체 성능 향상에 기여하며, 이는 고품질 증거가 효과적인 검증에 필수적임을 시사한다.
• 학술 논문에서 얻은 고품질 증거와 비교해 비검증 뉴스 자료에서 유래한 증거의 품질이 떨어지기 때문에, 과학적 주장에 대해 모델의 성능이 정치적 주장보다 뛰어나다.
• 오류 분석 결과, 비표준 문장 구조나 부정문이 포함된 주장은 모델을 오도할 수 있으며, 이는 문장 품질과 거짓성 간의 분리가 필요함을 시사한다.