[논문 리뷰] Overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims. Task 1: Check-Worthiness

Pepa Atanasova, Alberto Barrón‐Cedeño외 6명|arXiv (Cornell University)|2018. 08. 08.

Natural Language Processing Techniques인용 수 16

한 줄 요약

이 논문은 CLEF-2018 CheckThat! 랩의 Task 1을 제시하며, 사실 확인의 우선순위를 정하기 위해 정치적 진술을 자동으로 식별하고 순위를 매기는 데 초점을 맞춘다. 최고의 시스템들은 딥 러닝 모델, 분포적 표현, 문법적 특징을 사용하여 영어 데이터셋에서 평균 평균 정밀도(MAP) 0.18, 아랍어 데이터셋에서 MAP 0.15를 달성했으며, 모든 데이터와 도구는 향후 사실 확인 가능성 평가 연구를 자극하기 위해 공개되었다.

ABSTRACT

We present an overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims, with focus on Task 1: Check-Worthiness. The task asks to predict which claims in a political debate should be prioritized for fact-checking. In particular, given a debate or a political speech, the goal was to produce a ranked list of its sentences based on their worthiness for fact checking. We offered the task in both English and Arabic, based on debates from the 2016 US Presidential Campaign, as well as on some speeches during and after the campaign. A total of 30 teams registered to participate in the Lab and seven teams actually submitted systems for Task~1. The most successful approaches used by the participants relied on recurrent and multi-layer neural networks, as well as on combinations of distributional representations, on matchings claims' vocabulary against lexicons, and on measures of syntactic dependency. The best systems achieved mean average precision of 0.18 and 0.15 on the English and on the Arabic test datasets, respectively. This leaves large room for further improvement, and thus we release all datasets and the scoring scripts, which should enable further research in check-worthiness estimation.

연구 동기 및 목표

• 토론이나 연설에서 가장 사실 확인이 필요한 정치적 진술을 자동으로 식별하는 시스템을 개발하는 것.
• 수작업 사실 확인이 제한된 고속도의 정보 환경에서 진술의 우선순위를 정하는 과제를 해결하는 것.
• 2016년 미국 대선 캠페인 기간의 영어 및 아랍어 정치 토론에서 시스템을 평가하는 것.
• 향후 자동 사실 확인 가능성 평가 연구를 지원하기 위해 애너테이션된 데이터셋과 평가 스크립트를 공개하는 것.
• 신경망, 어휘 매칭, 문법적 특징이 사실 확인 우선순위 예측에 얼마나 효과적인지 탐색하는 것.

제안 방법

• 참가자들에게 정치 토론 및 연설 문장을 사실 확인 가능성에 따라 순위를 매여야 하며, 출력으로는 순위 목록을 제공해야 한다.
• 시스템 평가는 평균 평균 정밀도(MAP)를 사용하며, 기준으로는 factcheck.org에서 제공한 골드 표준 애너테이션을 사용한다.
• 참가자들은 순환 신경망(RNNs), 다층 신경망, 분포적 단어 표현과 문법적 의존성 파싱을 조합한 하이브리드 모델을 활용했다.
• 어휘 매칭 기법을 사용하여 진술 어휘를 사실 확인 관련 어휘 사전과 일치시켰다.
• 앙상블 방법은 다수의 시스템에서 나온 정규화된 점수를 합산하여 성능을 향상시켰으며, 개별 시스템보다 우수한 성능을 달성했다.
• 각 시스템의 기여도를 평가하기 위해 제거 실험(ablation studies)를 실시했다.

실험 결과

연구 질문

• RQ1 어떤 특징과 아키텍처가 사실 확인에 가장 적합한 정치적 진술을 예측하는 데 가장 효과적인가?
• RQ2 사실 확인 가능성 평가에서 영어와 아랍어 정치 텍스트 간 성능 격차는 어떻게 나타나는가?
• RQ3 앙상블 방법이 이 순위 매기기 작업에서 개별 시스템보다 성능을 얼마나 향상시킬 수 있는가?
• RQ4 분포적 표현과 문법적 특징은 어떤 방식으로 사실 확인 가능 진술을 식별하는 데 기여하는가?
• RQ5 사실 확인 어휘 사전과의 어휘 매칭은 고우선도 진술 탐지에 얼마나 기여하는가?

주요 결과

• 최고의 시스템은 영어 테스트 세트에서 평균 평균 정밀도(MAP) 0.18, 아랍어 테스트 세트에서 MAP 0.15를 기록했다.
• 다양한 시스템의 정규화된 점수를 합산하는 앙상블 방법은 최고의 개별 시스템 대비 영어에서 3.4%, 아랍어에서 3.6% 향상된 MAP 성능을 달성했다.
• 'blue'와 같은 일부 시스템을 앙상블에서 제거했을 때 성능이 향상되는 경우가 있었으며, 이는 기여도가 균일하지 않으며 모델 수준 통합의 잠재력이 있음을 시사한다.
• 제거 실험 결과 대부분의 개별 시스템이 앙상블에 긍정적인 기여를 했지만, 일부는 부정적 또는 미미한 영향을 미쳤다.
• 현재 성능가 낮아 향후 향상 여지가 크며, 더 나은 특징 공학 및 모델 아키텍처 개발이 필요하다는 점을 시사한다.
• 모든 데이터셋과 평가 스크립트는 향후 자동 사실 확인 가능성 평가 연구를 지원하기 위해 공개되었다.