[논문 리뷰] You are right. I am ALARMED -- But by Climate Change Counter Movement

Shraey Bhatia, Jey Han Lau외 1명|arXiv (Cornell University)|2020. 04. 30.

Climate Change Communication and Perception참고 문헌 24인용 수 7

한 줄 요약

이 논문은 기후 변화 대응 운동(CCCM) 조직들에서 유래한 기후 변화 오해 정보 기사들로 구성된 대규모 도메인 전용 데이터셋을 소개하며, 신뢰할 수 있는 뉴스, 풍자, 과학 기반 매체에서 균형 잡힌 테스트 세트를 제공한다. 이는 스타일적 및 언어적 신호를 활용한 기후 오해 정보 탐지에 초점을 맞춘 새로운 NLP 벤치마크를 제안함으로써 기후 논의에서의 위성 정보 확산에 대응하기 위한 자동 탐지 시스템 개발을 가능하게 한다.

ABSTRACT

The world is facing the challenge of climate crisis. Despite the consensus in scientific community about anthropogenic global warming, the web is flooded with articles spreading climate misinformation. These articles are carefully constructed by climate change counter movement (cccm) organizations to influence the narrative around climate change. We revisit the literature on climate misinformation in social sciences and repackage it to introduce in the community of NLP. Despite considerable work in detection of fake news, there is no misinformation dataset available that is specific to the domain.of climate change. We try to bridge this gap by scraping and releasing articles with known climate change misinformation.

연구 동기 및 목표

• NLP 분야에서 기후 변화 오해 정보 탐지에 특화된 데이터셋의 부족 문제를 해결하기 위해.
• 기후 변화 대응 운동(CCCM) 조직들이 오해 정보를 확산하기 위해 사용하는 언어적 및 스타일 전략을 규명하기 위해.
• 자동 탐지 연구를 지원하기 위해 대규모의 애너테이션된 오해 정보 기사 데이터셋을 공개하기 위해.
• 신뢰할 수 있는 뉴스, 풍자, 과학 기반 콘텐츠를 포함한 균형 잡힌 테스트 세트를 구축하여 모델 평가의 강건성을 확보하기 위해.
• 기후 오해 정보에 대한 사회과학 연구와 NLP 기반 오해 정보 탐지 응용 간 격차를 메우기 위해.

제안 방법

• 15개의 알려진 CCCM 조직들로부터 기사들을 크롤링하여, 과학적 또는 정책적 프레임으로 나누어 균형 잡힌 표현을 확보한다.
• 훈련 및 테스트 세트를 조직 단위에서 분리하여, 미리 보지 않은 출처에 대한 일반화 능력을 평가한다.
• 다양한 출처에서 테스트 데이터를 확보: 가디언, 브리티시 브로드캐스트 코퍼레이션(BBC, 기후 관련 신뢰할 수 있는 보도), 뉴스룸(기후 외 기사), 비트타 아틀라스(풍자 콘텐츠), 그리고 사스티컬 사이언스(사실 기반 반박 기사).
• 프레임 애너테이션을 수동으로 수행하여 조직 간 과학적 및 정책적 내역의 균형 잡힌 표현을 확보한다.
• 1,168개의 훈련 문서와 다섯 가지 다른 출처 유형에 걸쳐 460개의 테스트 문서를 포함하는 벤치마크 데이터셋을 구축한다.
• 이전의 가짜 뉴스 연구에서 알려진 스타일적 및 언어적 특징—과장, 주관성, 모달 부사, 감정적 뉘앙스 등—을 활용하여 탐지 모델링에 기여한다.

실험 결과

연구 질문

• RQ1 CCCM 조직들은 기후 과학을 약화시키기 위해 오해 정보, 선전, 과도한 감정적 언어를 어떻게 내러티브로 구성하는가?
• RQ2 NLP 모델들이 이전에 본 적 없는 CCCM 조직들로부터 기후 오해 정보를 일반화하여 탐지할 수 있는 정도는 어느 정도인가?
• RQ3 언어적 스타일에 기반해 오해 정보, 신뢰할 수 있는 뉴스 저널리즘, 풍자, 과학 기반 반박 기사들을 구분할 수 있는가?
• RQ4 기후 오해 정보 탐지에 있어 가장 예측력 있는 스타일적 및 언어적 특징은 무엇인가?
• RQ5 기후 변화 오해 정보에 특화된 콘텐츠에 적용했을 때 기존의 NLP 기법들이 얼마나 효과적인가?

주요 결과

• 저자들은 15개의 CCCM 조직들로부터 1,168건의 기후 오해 정보 기사로 구성된 대규모 애너테이션된 데이터셋을 공개하였으며, 과학적 및 정책적 내러티브 프레임에 걸쳐 균형 잡힌 표현이 이루어져 있다.
• 테스트 세트는 다섯 가지 다른 출처에서 460건의 문서를 포함한다: 가디언에서 80건, BBC에서 60건, 비트타 아틀라스(풍자)에서 70건, 뉴스룸(기후 외 기사)에서 100건, 사스티컬 사이언스(사실 기반)에서 50건.
• 훈련 및 테스트 세트가 조직 단위에서 분리되어 있어, 새로운 CCCM 조직에 대한 일반화 능력을 평가할 수 있다.
• 연구는 CCCM 콘텐츠에서 과장, 주관성, 감정적 뉘앙스와 같은 스타일적 신호가 빈번히 나타나며, 정치적 가짜 뉴스 연구 결과와 일치함을 입증한다.
• 이 데이터셋의 공개는 기후 변화 오해 정보 탐지 분야에서 첫 번째 전용 벤치마크를 제공함으로써 NLP 연구의 핵심 격차를 메운다.
• 이 데이터셋은 미디어 및 온라인 플랫폼에서 기후 오해 정보의 확산을 억제하는 데 도움이 되는 자동 탐지 시스템 개발을 지원한다.