[논문 리뷰] Related Fact Checks: a tool for combating fake news

Sreya Guha|arXiv (Cornell University)|2017. 10. 31.

Misinformation and Its Impacts참고 문헌 11인용 수 4

한 줄 요약

이 논문은 콘텐츠 기반 매칭과 주제 모델링을 활용해 독자가 읽고 있는 기사와 관련된 사실 확인 정보를 검색하는 브라우저 확장 프로그램인 Related Fact Checks(RFC) 서비스를 소개한다. 평가 결과로 높은 정밀도와 재현율을 확보하여, 이진 분류에 의존하지 않고도 사용자가 기사의 진실성을 평가할 수 있는 맥락적 증거를 제공한다.

ABSTRACT

The emergence of "Fake News" and misinformation via online news and social media has spurred an interest in computational tools to combat this phenomenon. In this paper we present a new "Related Fact Checks" service, which can help a reader critically evaluate an article and make a judgment on its veracity by bringing up fact checks that are relevant to the article. We describe the core technical problems that need to be solved in building a "Related Fact Checks" service, and present results from an evaluation of an implementation.

연구 동기 및 목표

• 기사에 사실 확인 링크가 없이 퍼지는 가짜 뉴스 문제를 해결하기 위해, 기사에 관련된 사실 확인 정보를 자동으로 노출하는 도구를 개발하는 것.
• 이진 진위 표기(참/거짓)에 의존하지 않고, 관련 사실 확인 정보를 제공함으로써 사용자가 기사를 비판적으로 평가할 수 있도록 맥락을 제공하는 것.
• 기존 정보 검색 기법의 한계를 극복하기 위해, 특정 기사에 직접적인 사실 확인이 없더라도 가짜 뉴스에서 흔히 나타나는 주제 패턴을 통합함으로써 검색 정확도를 높이는 것.
• 온디바이스 계산을 활용해 사용자 개인정보를 보호하고 지연을 최소화하는 가벼운 시스템을 설계하여, 잠재적인 사실 확인 정보를 사전에 사용자에게 알리는 것.
• 향후 연구를 위해 사실 확인 정보와 기사의 정제된 데이터셋을 공개함으로써 확장 가능하고 개방적인 연구를 가능하게 하는 것.

제안 방법

• RFC 서비스는 기사 텍스트와 사실 확인 주장에 기반한 콘텐츠 기반 매칭과 주제 모델링을 융합한 하이브리드 검색 기법을 사용하여, 가짜 뉴스에서 반복되는 주제를 식별한다.
• 주제적 토픽은 수작업으로 식별되며, 관련성 향상을 위해 더 높은 가중치를 부여하여, 직접적인 사실 확인 매칭이 없는 기사의 경우에도 정확도를 높인다.
• Schema.org의 ClaimReview 마크업을 활용해 사실 확인 웹사이트에서 구조화된 데이터를 추출함으로써 표준화된 색인 및 검색을 가능하게 한다.
• 브라우저 확장 프로그램을 통해 서비스를 구현하며, 제목과 사실 확인된 텍스트를 사용해 온디바이스 매칭을 수행함으로써 개인정보 보호와 지연 감소를 달성한다.
• 정확한 문자열 매칭을 넘어서 제목 매칭을 향상시키기 위해 Word2Vec 임베딩을 포함한 단어 유사도 메트릭을 탐색한다.
• 콘텐츠, 주제, 제목 등의 특징을 가중치를 적용해 조합하여 관련 사실 확인 정보를 순위 매기고 검색하며, 초깃값은 수작업으로 조정된다.

실험 결과

연구 질문

• RQ1 콘텐츠 기반과 주제 기반 매칭 시스템은 특정 기사에 직접적인 사실 확인이 없더라도 관련 사실 확인 정보를 효과적으로 식별할 수 있는가?
• RQ2 주제적 토픽을 검색 모델에 통합할 경우, 콘텐츠 기반 매칭에 비해 정밀도와 재현율이 얼마나 향상되는가?
• RQ3 제목과 사실 확인된 텍스트를 사용한 경량적이고 온디바이스 매칭이 정확하고 개인정보 보호에 유리한 사실 확인 추천을 얼마나 잘 제공할 수 있는가?
• RQ4 콘텐츠, 주제, 제목 등의 다양한 특징 조합이 기사의 주장을 뒷받침하는 관련 사실 확인 정보 검색에 얼마나 효과적인가?
• RQ5 기존의 사실 확인 마크업(예: ClaimReview)을 활용한 시스템이 확장 가능하고 개인정보 보호에 유리한 브라우저 도구를 구축하는 데 효과적으로 활용될 수 있는가?

주요 결과

• RFC 서비스는 강력한 검색 성능을 보이며, 콘텐츠 기반 매칭과 주제 모델링을 통합함으로써 기준 방법에 비해 정밀도와 재현율이 크게 향상된다.
• 검색 모델에 주제적 토픽을 통합함으로써 관련 없는 결과가 감소하고, 특히 반복적으로 나타나는 가짜 뉴스 주제(예: 반백신, 반기후 변화 논의)에 대해 관련성 향상 효과가 뚜렷하다.
• 제목 기반 매칭만으로도 놀랄 만큼 높은 성능을 보이며, 특히 Word2Vec과 같은 단어 유사도 메트릭을 적용할 경우, 많은 사실 확인 제목이 간결하고 대표적인 특성을 지니고 있기 때문이다.
• 직접적인 사실 확인이 없는 기사라도, 동일한 주제에 대한 관련 사실 확인 정보가 비판적 평가에 유용한 맥락을 제공할 수 있음을 시스템이 입증했다.
• 제목과 사실 확인된 데이터를 통합해 온디바이스로 처리하는 경량 구현 방식은 원격 서버 호출 없이도 개인정보 보호와 낮은 지연 시간을 확보할 수 있다.
• 저자들은 향후 가짜 뉴스 탐지 및 사실 확인 검색 연구를 지원하기 위해 사실 확인 정보와 기사의 정제된 데이터셋을 공개할 계획이다.