[논문 리뷰] Towards Automated Factchecking: Developing an Annotation Schema and Benchmark for Consistent Automated Claim Detection

Lev Konstantinovskiy, Oliver R. Price외 2명|arXiv (Cornell University)|2018. 09. 21.

Spam and Phishing Detection참고 문헌 43인용 수 44

한 줄 요약

본 논문은 주장 탐지를 위한 7-카테고리 주석 체계를 개발하고, 5,571문장 데이터셋을 크라우드소싱하며, 보편 문장 표현 기반 분류기(CNC)를 제안하여 0.83 F1을 달성하고 ClaimBuster를 능가한다.

ABSTRACT

In an effort to assist factcheckers in the process of factchecking, we tackle the claim detection task, one of the necessary stages prior to determining the veracity of a claim. It consists of identifying the set of sentences, out of a long text, deemed capable of being factchecked. This paper is a collaborative work between Full Fact, an independent factchecking charity, and academic partners. Leveraging the expertise of professional factcheckers, we develop an annotation schema and a benchmark for automated claim detection that is more consistent across time, topics and annotators than previous approaches. Our annotation schema has been used to crowdsource the annotation of a dataset with sentences from UK political TV shows. We introduce an approach based on universal sentence representations to perform the classification, achieving an F1 score of 0.83, with over 5% relative improvement over the state-of-the-art methods ClaimBuster and ClaimRank. The system was deployed in production and received positive user feedback.

연구 동기 및 목표

• 주장 탐지를 위한 객관적이고 시간에 일관된 주석 체계를 개발하여 개인적 편향을 최소화한다.
• 이 체계를 사용하여 UK 정치 방송의 문장으로 구성된 대규모 라벨링 데이터셋을 크라우드소싱한다.
• 보편적 문장 표현을 기반으로 한 주장 탐지 시스템을 개발하고 평가한다.
• 제안된 접근법을 기존 최첨단 주장 탐지 시스템과 벤치마킹한다.
• 향후 연구를 이끌기 위한 생산준비가 가능한 주석 프레임워크와 데이터셋을 제공한다.

제안 방법

• 주장을 포함하는지 여부로의 이진 매핑과 함께 7-카테고리 주석 체계를 반복적으로 개발한다.
• UK 정치 TV 자막에서 5,571문장의 주석을 80명의 자원봉사자로부터 크라우드소싱한다 (4편의 TV 쇼, 14에피소드).
• InferSent 보편적 문장 표현을 사용하여 문장을 인코딩하고, 필요에 따라 POS/NER 카운트를 보강하며, 감독학습 분류기를 훈련한다.
• 표준 지표(정밀도, 재현율, F1)를 사용하고 층화된 5-폴드 교차검증으로 ClaimBuster와 ClaimRank를 포함한 베이스라인과 비교한다.
• 주장/비주장의 이진 분류와 7개 카테고리를 아우르는 다중 클래스 확장을 평가한다.
• 생산 배포 고려사항 및 주석자 간 합의 분석을 보고한다.]

실험 결과

연구 질문

• RQ1 주제가 무엇이든 간에 객관적이고 검증 가능한 방식으로 정의하는 기준은 무엇인가?
• RQ2 7-카테고리 주석 체계가 이진 분류로 축소되어도 주장 탐지를 위한 일관된 라벨링을 제공할 수 있는가?
• RQ3 보편적 문장 표현이 주장 탐지를 위한 기존의 특징 기반 접근법을 능가하는가?
• RQ4 제안된 CNC 모델은 ClaimBuster 및 ClaimRank 같은 최첨단 시스템과 F1 점수에서 어떻게 비교되는가?
• RQ5 주장 탐지를 위한 크라우드소싱 주석에서 합의 및 신뢰성의 증거가 있는가?

주요 결과

• 7 카테고리의 주석 체계가 개발되어 5,571문장을 라벨링하기 위해 크라우드소싱되었다.
• 주장/비주장의 이진 매핑은 주석자 간 합의 증가와 높은 F1 성능을 가져온다.
• 보편적 문장 표현을 사용한 로지스틱 회귀 기반 CNC 모델은 F1 = 0.83를 달성하여 ClaimBuster(F1 = 0.79)보다 상대적으로 약 5% 이상 우수하다.
• GloVe 기반 임베딩도 경쟁력이 있지만 POS/NER 보강이 있는 CNC가 비슷하거나 더 나은 결과를 낳는다.
• ClaimRank은 정밀도는 더 높지만 재현율은 더 낮고, CNC는 균형 잡힌 우수한 F1(0.83)을 제공한다.
• 이 approach는 베이스라인 대비 강력한 성능 향상을 보이며 향후 연구를 위한 생산준비된 벤치마크를 제공한다.