[論文レビュー] Identifying Disinformation Websites Using Infrastructure Features

Austin Hounsel, Jordan Holland+4 more|arXiv (Cornell University)|Feb 28, 2020

Misinformation and Its Impacts参考文献 49被引用数 11

ひとこと要約

本稿では、非知覚的インfraストラクチャーフィーチャー（ドメイン登録パターン、SSL証明書の性質、ホスティング構成など）を組み合わせ、解釈可能な機械学習を用いて、事前に偽情報サイトを自動で特定するスケーラブルで自動化されたシステム「Disinfotron」を紹介する。本手法は先行研究を大きく上回り、機械学習を支援する偽情報検出の初のリアルタイムで成功したデプロイメントを実現し、早期の人為的レビューとブラウザベースの警告を可能にした。

ABSTRACT

Platforms have struggled to keep pace with the spread of disinformation. Current responses like user reports, manual analysis, and third-party fact checking are slow and difficult to scale, and as a result, disinformation can spread unchecked for some time after being created. Automation is essential for enabling platforms to respond rapidly to disinformation. In this work, we explore a new direction for automated detection of disinformation websites: infrastructure features. Our hypothesis is that while disinformation websites may be perceptually similar to authentic news websites, there may also be significant non-perceptual differences in the domain registrations, TLS/SSL certificates, and web hosting configurations. Infrastructure features are particularly valuable for detecting disinformation websites because they are available before content goes live and reaches readers, enabling early detection. We demonstrate the feasibility of our approach on a large corpus of labeled website snapshots. We also present results from a preliminary real-time deployment, successfully discovering disinformation websites while highlighting unexplored challenges for automated disinformation detection.

研究の動機と目的

• オンラインにおける偽情報の増大する脅威に対処する。これは、民主的議論を損ない、遅延する手動の事実確認プロセスでは対応が難しい。
• 現在の手法が許容するよりも、サイトのライフサイクルの初期段階で、より早く偽情報サイトを検出できるスケーラブルで自動化されたシステムを開発する。
• ドメイン登録、SSL証明書、ホスティングパターンといったインフラストラクチャーレベルの特徴を活用し、偽情報サイトと正当なニュースサイトを区別する。
• 人為のモデレーターが理解しやすい機械学習による信号を提供することで、非知覚的な赤信号を強調する。
• リアルタイムのパイロットデプロイメントとプロトタイプのブラウザ拡張機能を通じて、実世界での実現可能性を示す。

提案手法

• Disinfotronは、ドメイン登録タイミング、SSL証明書属性、ホスティングプロバイダーの特徴など、ウェブサイトの静的インフラストラクチャーフィーチャーを抽出する。
• 解釈可能性を重視し、教師あり機械学習を用いて、マルチラベル分類によりウェブサイトを「偽情報」「ニュース」「その他」に分類する。
• サイトのライフサイクルに伴い、初期設定から運用段階まで、データが蓄積されるにつれて予測を段階的に改善する。
• スパム、フィッシング、マルウェア検出分野の先行研究から得られた、悪意あるインフラストラクチャの既知のパターンを反映する特徴を設計する。
• 大規模で手作業でラベル付けされた、偽情報サイトおよびニュースサイトのデータセットを用い、再現可能性を確保するためのインフラストラクチャーメタデータをアーカイブする。
• ブラウザ拡張機能のプロトタイプは、リアルタイムの予測を活用し、偽情報サイトへの訪問前にユーザーに警告を発する。

実験結果

リサーチクエスチョン

• RQ1 インフラストラクチャーレベルの特徴は、サイトに大きなトラフィックが集まらない段階で、偽情報サイトと正当なニュースサイトを信頼性高く区別できるか？
• RQ2 歴史的データ上で、インフラストラクチャーフィーチャーに基づく自動検出の性能は、先行の最先端手法と比較してどうか？
• RQ3 このようなシステムはリアルタイムに効果的にデプロイ可能であり、早期の人為的モデレーションを支援できるか？
• RQ4 解釈可能な機械学習特徴は、人為のモデレーターが偽情報の特定を支援する程度はどの程度か？
• RQ5 インフラストラクチャーベースの検出は、ウェブブラウザ拡張機能のような消費者向けツールに実装可能か？

主な発見

• Disinfotronは、歴史的データ上での偽情報サイト検出において、先行の最先端手法を大きく上回り、優れた正確性とスケーラビリティを示した。
• サイトのライフサイクルの初期段階でも高い性能を発揮し、広範な拡散が起きる前に対応できるプロアクティブな検出を可能にした。
• 機械学習を支援する偽情報発見の初のリアルタイム評価が成功裏に実施され、実環境でのデプロイの可能性と有効性を示した。
• システムの解釈可能性により、人為のモデレーターはドメイン、証明書、ホスティング特徴における技術的異常に基づいて予測を理解・検証できるようになった。
• プロトタイプのブラウザ拡張機能は、リアルタイムで偽情報サイトを警告し、実用的なデプロイの可能性を示した。
• 著者らは、完全なインフラストラクチャーメタデータを備えた、手作業でラベル付けされた最大の公開データセットをリリースし、今後の研究を可能にした。