[論文レビュー] Developing Security Reputation Metrics for Hosting Providers

Arman Noroozian, Maciej Korczyński+2 more|arXiv (Cornell University)|Dec 12, 2016

Spam and Phishing Detection参考文献 13被引用数 14

ひとこと要約

本稿は、ホスティングプロバイダーのセキュリティレピュテーションメトリクスを開発するための体系的フレームワークを提案する。主なメソッドロジカルな課題であるプロバイダー同定、不正利用データの品質、正規化、集約、解釈を解決する。複数のデータソースと複数のメトリクスを組み合わせ、不正利用フィード、IPスペース、ホスティングドメインを統合し、代替のサイズ推定手法とベンチマークランクの間に高い相関（r = 0.909）を達成した。これにより、法執行部門および業界関係者による信頼性の高いベンチマークが可能になる。

ABSTRACT

Research into cybercrime often points to concentrations of abuse at certain hosting providers. The implication is that these providers are worse in terms of security; some are considered `bad' or even `bullet proof'. Remarkably little work exists on systematically comparing the security performance of providers. Existing metrics typically count instances of abuse and sometimes normalize these counts by taking into account the advertised address space of the provider. None of these attempts have worked through the serious methodological challenges that plague metric design. In this paper we present a systematic approach for metrics development and identify the main challenges: (i) identification of providers, (ii) abuse data coverage and quality, (iii) normalization, (iv) aggregation and (v) metric interpretation. We describe a pragmatic approach to deal with these challenges. In the process, we answer an urgent question posed to us by the Dutch police: `which are the worst providers in our jurisdiction?'. Notwithstanding their limitations, there is a clear need for security metrics for hosting providers in the fight against cybercrime.

研究の動機と目的

• ホスティングプロバイダーのセキュリティパフォーマンスを評価する体系的かつ実証的根拠に基づくメトリクスの不足に対処すること。
• オランダの国立ハイテク犯罪捜査警察から直接要請されたように、オランダにおける最もパフォーマンスが悪いホスティングプロバイダーを特定することに支援を提供すること。
• 顧客、規制当局、プロバイダーにセキュリティパフォーマンスを示す信頼性が高く透明性のあるメトリクスを提供することで、ホスティング分野における情報非対称性を低減すること。
• データドリブンなレピュテーションスコアを通じてベンチマーク化を可能にし、より良いセキュリティ慣行を促進すること。
• 単純な不正利用回数とIPスペース正規化に依存する既存のメトリクスには、そのメソッドロジカルな制限を解決しない点があるため、それらを改善すること。

提案手法

• Farsight Security、StopBadware、PhishTank、その他のレポートを含む、公開および非公開の不正利用フィードを統合した複数のデータソースパイプラインを活用する。
• 広告されたIPスペース、ホスティングに使用されるIPスペース、ホスティングされている2レベルドメイン（2LDs）の数を用いたハイブリッドなサイズ推定アプローチを採用し、不正利用回数を正規化する。
• 不正利用頻度、サイズ推定、データソースの包括性を統合した複合メトリクスに基づくベンチマークランクを適用する。
• 代替メトリクス仕様（IPスぺース、使用IPスぺース、2LD数）間の一貫性を評価するためにピアソンの相関係数（r）を用いる。
• データソースが固有の<2LD, IP>ペアに果たす貢献度に基づき、重み付け集約を実装する。
• 感度分析とステークホルダーからのフィードバックを通じて結果を検証し、ASレベルのルーティングに依存するのではなくWHOISデータを用いた反復的で改善されたプロバイダー同定手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 プロバイダー同定やデータカバレッジの課題がある中で、不正利用データをホスティングプロバイダーに体系的にマッピングする方法は何か？
• RQ2 さまざまな規模やサービスタイプのホスティングプロバイダー間で、不正利用回数を正規化するための最も信頼性の高い方法は何か？
• RQ3 IPスぺース、使用IPスぺース、ホスティングドメインといった異なるサイズ推定手法は、ホスティングプロバイダーのレピュテーションランクにどのように影響を与えるか？
• RQ4 代替メトリクス仕様がベンチマークランクとどの程度相関しているか、そしてそのメトリクスの頑健性にどのような意味を持つのか？
• RQ5 セキュリティレピュテーションメトリクスは、どのように設計すれば法執行部門にとって実行可能であり、かつプロバイダーによるゲーム化に対して耐性を持つのか？

主な発見

• ベンチマークレピュテーションランクは、ウェブホスティングに使用されるIPアドレスに基づくメトリクスと強い相関（r = 0.909）を示しており、トップの不正利用プロバイダーを同定する一貫性の高さを裏付けている。
• ベンチマークランクと2LDベースのサイズ推定手法との間の相関は弱い（r = 0.6438）ため、ドメイン数だけではプロバイダーの規模を信頼性高く代理するものではないことが示された。
• ベンチマークランクの上位20のASNsのうち、すべての代替上位20ランキングに含まれるのはわずか7つにとどまり、サイズ推定手法への感受性が顕著に現れている。
• データソースの包括性に基づく重み付け集約アプローチは、ベンチマークランクとピアソン相関係数r = 0.791を達成しており、メトリクス統合における実用性を確認した。
• 本研究では、現在のIPスぺースや不正利用回数に依存するメトリクスは、そのメソッドロジカルな欠陥のため不十分であり、統合的かつ多面的なアプローチの導入が求められると指摘した。
• ステークホルダーからのフィードバックにより、提案されたメトリクスが、執行活動、自己規制、業界ベンチマークの有効な出発点として妥当であることが確認された。