[논문 리뷰] NewsClaims: A New Benchmark for Claim Detection from News with Attribute Knowledge

Revanth Gangi Reddy, Sai Chetan외 9명|arXiv (Cornell University)|2021. 12. 16.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 뉴스 기사에서 속성 인식 기반의 주장을 탐지하기 위한 새로운 벤치마크인 NewsClaims을 소개한다. 기존의 주장 탐지 기법을 넘어 주장자, 주장 대상, 태도, 주장 구간을 포함한 다각도의 속성을 고려한다. 143편의 코로나19 관련 뉴스 기사에서 유의미한 주석을 포함한 889개의 주장을 포함하며, 제로샷 및 프롬프트 기반 소수의 샘플을 활용한 방법이 유망한 성능을 보였지만 여전히 인간 수준에 못 미치는 것으로 나타나, 자원이 제한된 주장 탐지 분야에서 향후 연구의 기회를 제시한다.

ABSTRACT

Claim detection and verification are crucial for news understanding and have emerged as promising technologies for mitigating misinformation and disinformation in the news. However, most existing work has focused on claim sentence analysis while overlooking additional crucial attributes (e.g., the claimer and the main object associated with the claim). In this work, we present NewsClaims, a new benchmark for attribute-aware claim detection in the news domain. We extend the claim detection problem to include extraction of additional attributes related to each claim and release 889 claims annotated over 143 news articles. NewsClaims aims to benchmark claim detection systems in emerging scenarios, comprising unseen topics with little or no training data. To this end, we see that zero-shot and prompt-based baselines show promising performance on this benchmark, while still considerably behind human performance.

연구 동기 및 목표

• 기존 연구에서 자주 간과되는 주요 속성인 주장자, 주장 대상, 태도 등을 포함함으로써 주장 탐지 연구의 격차를 해소하고자 한다.
• 코로나19 팬데믹과 같은 뉴스 기사의 급격한 발생 사건과 같은 저자원, 신규 주제 상황에서 주장 탐지 시스템을 평가하기 위한 새로운 벤치마크를 구축하고자 한다.
• 구조화된 속성을 추출함으로써 세밀한 주장 비교를 가능하게 하여 동일한 주장, 모순되는 주장 또는 관련된 주장을 식별할 수 있도록 하고자 한다.
• 저자원 조건에서 사전 학습된 언어 모델을 활용한 제로샷 및 소수의 샘플 기반 학습 접근법의 효과성을 평가하고자 한다.
• 특히 뉴스 미디어에서의 오락성 정보 방지에 기여하기 위해 실시간으로 주장 탐지 및 분석이 가능한 시스템 개발을 지원하고자 한다.

제안 방법

• 벤치마크는 코로나19의 네 가지 주제인 기원, 치료법, 전파, 보호 조치를 다루는 143편의 뉴스 기사로 구성된다.
• 각 주장은 주장 구간, 주장자, 주장자의 태도, 주장 대상, 주제의 다섯 가지 속성으로 수동으로 주석이 달린다.
• 데이터셋은 제로샷 및 소수의 샘플 설정에서 시스템을 평가할 수 있도록 설계되어, 새로운 주제에 대한 실제 배포 상황을 시뮬레이션한다.
• 제로샷 및 프롬프트 기반 소수의 샘플 기반 기준 모델은 사전 학습된 언어 모델을 사용하여 평가되며, 각 하위 작업(예: 주장 탐지, 태도 분류, 대상 탐지)에 맞는 프롬프트 템플릿이 설계되었다.
• 주장 대상은 주장이 다루는 대상(entity)을 의미하며, 예를 들어 '바이러스는 중국에서 기원했다'는 문장에서 '기원'이 주장 대상이 된다.
• 주장자 탐지 작업은 문장 간 추론이 필요하며, 특히 주장자가 주장 문장 외부에 언급된 경우에 문서 수준의 맥락 이해가 필수적이다.

실험 결과

연구 질문

• RQ1 제로샷 및 프롬프트 기반 소수의 샘플 기반 방법이 저자원 뉴스 환경에서 주장 탐지 및 관련 속성(주장자, 주장 대상, 태도) 추출에 효과적으로 작용할 수 있는가?
• RQ2 풍부한 다차원 주석이 달린 벤치마크에서 속성 인식 기반 주장 탐지 시스템은 인간 성능과 비교해 어떻게 성과를 내는가?
• RQ3 현재의 NLP 모델이 뉴스 기사에서 새로운, 알려지지 않은 주제(예: 신속히 발생하는 팬데믹 관련 주장)로 일반화하는 데 얼마나 효과적인가?
• RQ4 다양한 출처와 태도를 가진 복잡한 뉴스 기사에서 현재의 주장 탐지 시스템이 유의미한 제한 사항을 보이는가?
• RQ5 어떻게 주장 속성을 구조화하여 의미 있는 주장 비교를 가능하게 할 수 있는가(예: 동일한 대상을 가졌지만 반대 태도를 가진 모순되는 주장을 식별하는 데)?

주요 결과

• NewsClaims 벤치마크는 143편의 뉴스 기사에서 유의미한 주석이 달린 889개의 주장으로 구성되어 있으며, 주장 구간, 주장자, 태도, 주장 대상, 주제를 포함하여 뉴스 기사에서 이러한 수준의 속성 정밀도를 가진 첫 번째 데이터셋이다.
• 제로샷 및 프롬프트 기반 소수의 샘플 기반 접근법은 특히 주장 탐지 및 주제 분류에서 높은 성능를 보였지만 여전히 인간 성능에 크게 뒤진다.
• 주장 대상 탐지 하위 작업은 특히 도전적이며, 기존의 NLI 기반 설정(예: '이것은 바이러스 기원을 반박한다')은 명시적으로 대상을 포함하는 설정(예: '중국은 바이러스 기원이 아니다')보다 정확도가 떨어진다.
• 주장자 탐지는 주장자가 동일 문장에 포함되지 않은 경우에 특히 문서 수준의 추론이 필요하므로, 문장 간 소속 관계 모델이 필수적임을 시사한다.
• 벤치마크는 여러 출처에서 유사한 주장이 존재할 경우 시스템이 주장의 소속을 잘못 판단하는 경향이 있음을 드러내며, 더 나은 맥락 인식 기반의 주장 위치 특정 기술의 필요성을 시사한다.
• 유망한 제로샷 결과에도 불구하고, 모델과 인간 주석자 간의 성능 격차는 여전히 크며, 속성 인식 기반 주장 탐지 분야에서 향후 개선 여지가 크다는 것을 시사한다.