[논문 리뷰] Identifying Disinformation Websites Using Infrastructure Features

Austin Hounsel, Jordan Holland외 4명|arXiv (Cornell University)|2020. 02. 28.

Misinformation and Its Impacts참고 문헌 49인용 수 11

한 줄 요약

이 논문은 비감각적 인프라 특징—예를 들어 도메인 등록 패턴, SSL 인증서 속성, 호스팅 구성 등—을 사용하여 사전에 가짜 뉴스 웹사이트를 탐지하는 확장성 있고 자동화된 시스템인 Disinfotron을 소개한다. 해석 가능한 기계학습과 결합된 이 시스템은 이전 연구를 크게 능가하며, 기계학습 기반 가짜 뉴스 탐지의 첫 실시간 성공적 구현을 보여주어 조기 인간 검토와 브라우저 기반 경고를 가능하게 한다.

ABSTRACT

Platforms have struggled to keep pace with the spread of disinformation. Current responses like user reports, manual analysis, and third-party fact checking are slow and difficult to scale, and as a result, disinformation can spread unchecked for some time after being created. Automation is essential for enabling platforms to respond rapidly to disinformation. In this work, we explore a new direction for automated detection of disinformation websites: infrastructure features. Our hypothesis is that while disinformation websites may be perceptually similar to authentic news websites, there may also be significant non-perceptual differences in the domain registrations, TLS/SSL certificates, and web hosting configurations. Infrastructure features are particularly valuable for detecting disinformation websites because they are available before content goes live and reaches readers, enabling early detection. We demonstrate the feasibility of our approach on a large corpus of labeled website snapshots. We also present results from a preliminary real-time deployment, successfully discovering disinformation websites while highlighting unexplored challenges for automated disinformation detection.

연구 동기 및 목표

• 온라인 가짜 정보의 증가하는 위협에 대응하기 위해, 이는 민주적 논의를 약화시키며 기존의 느린 수동 fact-checking 과정으로는 대응하기 어려운 문제다.
• 현재의 방법으로는 불가능한, 웹사이트 수명 주기의 조기에 더 이르게 가짜 뉴스 웹사이트를 탐지할 수 있는 확장성 있고 자동화된 시스템을 개발하는 것.
• 가짜 뉴스 사이트와 정상 뉴스 사이트를 구분할 수 있는 인프라 수준의 특징—예를 들어 도메인 등록, SSL 인증서, 호스팅 패턴 등—을 활용하는 것.
• 비감각적 경고 신호를 제공하는 기계학습 기반의 설명 가능한 신호를 통해 인간 모더레이터를 지원하는 것.
• 실시간 시범 구현과 개념 증명용 브라우저 확장 프로그램을 통해 실제 적용 가능성의 실증을 제공하는 것.

제안 방법

• Disinfotron은 도메인 등록 시점, SSL 인증서 속성, 호스팅 제공업체 특성 등의 정적 인프라 특징을 웹사이트에서 추출한다.
• 인간 검토를 위한 해석 가능성에 중점을 두어 다중 레이블 분류를 사용하여 웹사이트를 가짜 뉴스, 뉴스 또는 기타로 분류하는 지도 기반 기계학습을 적용한다.
• 웹사이트의 수명 주기 동안 초기 설정부터 활성 운영까지 데이터가 점차 축적됨에 따라 예측을 지속적으로 개선하는 방식으로 시스템이 진화한다.
• 이전의 스팸, 피싱, 악성 소프트웨어 탐지 연구에서 유래한 알려진 악성 인프라 패턴을 반영하도록 특징을 설계한다.
• 대규모 수기로 레이블링된 가짜 뉴스 및 뉴스 웹사이트 데이터셋을 기반으로 모델을 훈련하며, 재현 가능성을 위해 인프라 메타데이터를 보관한다.
• 실시간 예측을 사용하여 사용자가 의심스러운 가짜 뉴스 사이트에 접속하기 전에 경고하는 브라우저 확장 프로그램 프로토타입을 구현한다.

실험 결과

연구 질문

• RQ1 웹사이트가 상당한 트래픽을 확보하기 전에, 인프라 수준의 특징이 가짜 뉴스 웹사이트를 정상 뉴스 사이트와 신뢰성 있게 구분할 수 있는가?
• RQ2 과거 데이터 기반으로 볼 때, 인프라 특징에 기반한 자동 탐지의 성능은 이전 최고 수준의 방법과 비교해 어떻게 되는가?
• RQ3 이러한 시스템은 실시간으로 효과적으로 구현될 수 있는가? 조기 인간 모더레이션을 지원할 수 있는가?
• RQ4 해석 가능한 기계학습 특징이 인간 모더레이터가 가짜 뉴스를 식별하는 데 얼마나 기여하는가?
• RQ5 소비자 대상 도구인 웹 브라우저 확장 프로그램과 같은 환경에서 인프라 기반 탐지가 실제 운영이 가능한가?

주요 결과

• Disinfotron은 과거 데이터 기반으로 기존 최고 수준의 방법을 크게 능가하며, 뛰어난 정확도와 확장성으로 가짜 뉴스 웹사이트 탐지 성능을 입증했다.
• 웹사이트 수명 주기의 초기 단계에서도 뛰어난 성능을 달성하여 광범위한 유포 전에 사전 탐지가 가능하다.
• 기계학습 기반 가짜 뉴스 탐지의 첫 실시간 평가가 성공적으로 수행되었으며, 실시간 배포의 가능성과 효과성을 입증했다.
• 시스템의 해석 가능성 덕분에 인간 모더레이터는 도메인, 인증서, 호스팅 특징의 기술적 이질성을 바탕으로 예측를 이해하고 검증할 수 있다.
• 개념 증명용 브라우저 확장 프로그램이 실시간으로 사용자에게 가짜 뉴스 사이트에 대한 경고를 성공적으로 제공하여 실용적 구현 가능성을 입증했다.
• 저자들은 가짜 뉴스 및 뉴스 웹사이트를 수기로 레이블링한 가장 큰 공개 데이터셋을 발표하였으며, 전체 인프라 메타데이터를 포함하여 향후 연구를 가능하게 했다.