[논문 리뷰] Text Similarity Using Word Embeddings to Classify Misinformation

Caio Sacramento de Britto Almeida, Débora Abdalla Santos|arXiv (Cornell University)|2020. 01. 01.

Misinformation and Its Impacts참고 문헌 4인용 수 3

한 줄 요약

이 논문은 중복되거나 거의 동일한 가짜 정보 콘텐츠를 식별하기 위해 단어 임베딩(word embeddings)을 사용하여 텍스트 유사도를 계산하는 방법을 제안한다. 이를 통해 사실 확인 전문가들이 중복된 검증을 피할 수 있다. 사전에 훈련된 모델에서 유도한 의미적 임베딩을 활용함으로써, 이전에 검증된 기사들을 효율적으로 검색할 수 있으며, 공동 사실 확인 시스템에서 검증 작업 부담을 크게 줄일 수 있다.

ABSTRACT

Fake news is a growing problem in the last years, especially during elections. It's hard work to identify what is true and what is false among all the user generated content that circulates every day. Technology can help with that work and optimize the fact-checking process. In this work, we address the challenge of finding similar content in order to be able to suggest to a fact-checker articles that could have been verified before and thus avoid that the same information is verified more than once. This is especially important in collaborative approaches to fact-checking where members of large teams will not know what content others have already fact-checked.

연구 동기 및 목표

• 여러 팀이 유사하거나 동일한 가짜 정보를 검증하는 공동 환경에서 발생하는 중복 사실 확인 문제를 해결하기 위해.
• NLP 기법을 활용해 의미적으로 유사한 기사들을 식별하여 검증 작업 부담을 줄이기 위해.
• 이전에 검증된 콘텐츠를 재사용함으로써 가짜 정보 탐지의 효율성을 향상시키기 위해.
• 자동화된 유사도 탐지 기반으로 확장 가능한 사실 확인 시스템을 지원하기 위해.

제안 방법

• 이 방법은 사전에 훈련된 단어 임베딩(예: Word2Vec 또는 GloVe)을 사용하여 텍스트를 조밀한 벡터 공간에 표현한다.
• 뉴스 기사의 임베딩 표현 간 코사인 유사도를 사용하여 텍스트 유사도를 계산한다.
• 유사도 점수에 기반해 기사들을 그룹화하거나 순서를 정하여 잠재적인 중복 기사들을 식별한다.
• 공동 사실 확인 파이프라인에 통합되어 이전에 검증된 콘텐츠를 제안하는 데 지원한다.

실험 결과

연구 질문

• RQ1 단어 임베딩은 다양한 출처에서 유사한 의미적 특성을 가진 가짜 정보 기사들을 효과적으로 식별할 수 있는가?
• RQ2 임베딩 기반의 유사도는 사실 확인 워크플로우에서 이전에 검증된 콘텐츠를 얼마나 정확하게 탐지할 수 있는가?
• RQ3 이 방법은 공동 사실 확인 팀에서 중복 검증 노력의 어느 정도를 줄일 수 있는가?

주요 결과

• 키워드 기반 방법에 비해 단어 임베딩의 사용이 의미적으로 유사한 가짜 정보 기사 탐지에 크게 기여한다.
• 임bedded 텍스트 간 코사인 유사도는 높은 정밀도로 이전에 검증된 기사를 성공적으로 검색한다.
• 이 방법은 사실 확인 전문가들이 이전 결과에 효율적으로 접근할 수 있도록 함으로써 중복 검증 횟수를 줄인다.
• 이 방법은 확장성이 있으며 대규모 공동 사실 확인 시스템에의 통합에 적합하다.