[논문 리뷰] Factorization of Fact-Checks for Low Resource Indian Languages

Shivangi Singhal, Rajiv Ratn Shah외 1명|arXiv (Cornell University)|2021. 02. 23.

Misinformation and Its Impacts참고 문헌 22인용 수 5

한 줄 요약

이 논문은 인도의 저자원 언어를 위한 첫 번째 대규모 다국어 사실 확인 데이터셋인 FactDRIL을 소개한다. 이 데이터셋은 히ン두어, 바ング라, 타밀, 우르두어를 포함한 11개 지역 언어에서 22,435개의 샘플을 포함하고 있다. 유일무이한 '조사이론' 속성은 사실 확인 과정의 단계별 논리적 추론을 기록하여, 비영어권 인도 환경에서 가짜 뉴스의 탐지 및 자동화를 향상시킨다.

ABSTRACT

The advancement in technology and accessibility of internet to each individual is revolutionizing the real time information. The liberty to express your thoughts without passing through any credibility check is leading to dissemination of fake content in the ecosystem. It can have disastrous effects on both individuals and society as a whole. The amplification of fake news is becoming rampant in India too. Debunked information often gets republished with a replacement description, claiming it to depict some different incidence. To curb such fabricated stories, it is necessary to investigate such deduplicates and false claims made in public. The majority of studies on automatic fact-checking and fake news detection is restricted to English only. But for a country like India where only 10% of the literate population speak English, role of regional languages in spreading falsity cannot be undermined. In this paper, we introduce FactDRIL: the first large scale multilingual Fact-checking Dataset for Regional Indian Languages. We collect an exhaustive dataset across 7 months covering 11 low-resource languages. Our propose dataset consists of 9,058 samples belonging to English, 5,155 samples to Hindi and remaining 8,222 samples are distributed across various regional languages, i.e. Bangla, Marathi, Malayalam, Telugu, Tamil, Oriya, Assamese, Punjabi, Urdu, Sinhala and Burmese. We also present the detailed characterization of three M's (multi-lingual, multi-media, multi-domain) in the FactDRIL accompanied with the complete list of other varied attributes making it a unique dataset to study. Lastly, we present some potential use cases of the dataset. We expect this dataset will be a valuable resource and serve as a starting point to fight proliferation of fake news in low resource languages.

연구 동기 및 목표

• 비영어권 환경에서 위성 정보 유포를 억제하기 위해 필수적인, 저자원 인도어 언어를 위한 대규모 다국어 사실 확인 데이터셋의 부족을 해결한다.
• 기존의 사실 확인 데이터셋이 주로 영어 중심이어서 인도의 언어 다양성을 반영하지 못하는 한계를 극복한다.
• 자동 사실 확인, 위성 정보 탐지 및 편향 분석 연구를 지원하는 종합적인 애너테이션 데이터셋을 제공한다.
• 사람들이 사실을 확인할 때 사용하는 단계별 논리적 추론을 기록하는 새로운 '조사이론' 기능을 도입하고 검증한다.
• 가짜 뉴스의 다양한 변종이 인도의 소셜 미디어 플랫폼에서 퍼지지 않도록 막기 위한 조기 경고 시스템 및 다국어 NLP 모델 개발을 가능하게 한다.

제안 방법

• 11개의 IFCN 인증을 받은 인도 사실 확인 웹사이트에서 11개 저자원 인도어 언어로 22,435개의 사실 확인된 주장을 크롤링하고 정제했다.
• 텍스트적 주장, 미디어(이미지, 영상), 소셜 미디어 맥락, 이벤트 메타데이터를 포함한 다중 모odal, 다중 도메인, 다국어 데이터를 수집하고 체계화했다.
• 사람들이 사실을 확인할 때 사용하는 중간 단계의 추론 과정을 문서화하는 새로운 '조사이론' 속성을 도입하고 수작업으로 애너테이션했다.
• 데이터셋 기능을 메타, 텍스트, 미디어, 소셜, 이벤트, 저자 기능의 여섯 가지 범주로 분류하여 주장을 둘러싼 기원과 맥락을 종합적으로 분석할 수 있도록 했다.
• 비정형 사실 확인 보고서를 일관된 레이블링 방식을 갖춘 구조화된 기계 가공 가능한 형식으로 변환하기 위한 체계적인 데이터 추출 파이프라인을 사용했다.
• 향후 NLP 기법을 활용해 '조사이론' 추출을 자동화하여 데이터셋의 확장성과 후속 응용 프로그램 지원을 도모할 계획이다.

실험 결과

연구 질문

• RQ1 저자원 인도어 언어를 위한 대규모 다국어 사실 확인 데이터셋을 어떻게 구성할 수 있을까? 이는 NLP 연구를 지원하기 위한 것이다.
• RQ2 상세한 조사 이론이 사실 확인 시스템의 해석 가능성과 자동화에 어떤 역할을 하는가?
• RQ3 영어와 비교했을 때, 인도 지역 언어에서 가짜 뉴스 패턴과 도메인(예: 정치, 건강, 종교)은 어떻게 다를까?
• RQ4 다중 모달 및 다중 도메인 기능의 포함이 저자원 환경에서 가짜 뉴스 탐지 모델의 성능을 얼마나 향상시킬 수 있을까?
• RQ5 다양한 지역 언어로 운영되는 사실 확인 웹사이트 간의 사실 확인 관행에 숨겨진 편향은 무엇이며, 이를 어떻게 체계화된 데이터를 통해 탐지할 수 있을까?

주요 결과

• FactDRIL은 11개 저자원 인도어 언어에서 22,435개의 사실 확인된 주장을 포함하고 있으며, 영어 9,058건, 히누두어 5,155건, 바ング라, 마라티, 타밀, 우르두어 등 지역 언어 8,222건이 포함되어 있다.
• 기존의 LIAR와 같은 데이터셋에서 부족한 점을 메우기 위해, 사실 확인자가 사용하는 단계별 논리적 추론을 기록하는 고유한 '조사이론' 속성이 포함되어 있다.
• 정치적 콘텐츠가 가짜 뉴스의 주요 도메인이었으며, 그 다음으로 건강 및 종교 분야가 뒤이었다. 2019년에 급격한 정점에 도달했고, 2012년부터 2020년까지 증가 추세를 보였다.
• 데이터셋은 2017년 경부터 인도 지역 언어에서 가짜 뉴스 유포가 본격적으로 확산되기 시작했으며, 2018년 이후 다국어 콘텐츠의 급격한 증가를 보여준다.
• 이 데이터셋은 소셜 미디어 플랫폼에서 검증된 콘텐츠의 변종을 탐지하고 억제할 수 있는 조기 경고 시스템 개발을 지원한다.
• 텍스트, 이미지, 영상 등 다중 모달 및 다중 도메인 기능의 포함은 저자원 언어 환경에서 위성 정보 패턴을 더 견고하게 모델링할 수 있도록 한다.