[論文レビュー] Beyond Free Riding: Quality of Indicators for Assessing Participation in Information Sharing for Threat Intelligence

Omar Alibrahim, Aziz Mohaisen+3 more|arXiv (Cornell University)|Feb 2, 2017

Information and Cyber Security参考文献 27被引用数 12

ひとこと要約

本稿では、脅威インテリジェンス共有における参加者の真の貢献を評価するための多様な指標として、インジケータの質（QoI）を導入している。単なる量的指標にとどまらず、正しさ、関連性、有用性、独自性を評価することで、実際のアンチウイルススキャンデータを用いて、量的指標が見過ごす自由乗車行動を効果的に特定している。研究では、高ボリュームの貢献者であっても、低品質のインジケータを提供していることが明らかになった。

ABSTRACT

Threat intelligence sharing has become a growing concept, whereby entities can exchange patterns of threats with each other, in the form of indicators, to a community of trust for threat analysis and incident response. However, sharing threat-related information have posed various risks to an organization that pertains to its security, privacy, and competitiveness. Given the coinciding benefits and risks of threat information sharing, some entities have adopted an elusive behavior of "free-riding" so that they can acquire the benefits of sharing without contributing much to the community. So far, understanding the effectiveness of sharing has been viewed from the perspective of the amount of information exchanged as opposed to its quality. In this paper, we introduce the notion of quality of indicators (\qoi) for the assessment of the level of contribution by participants in information sharing for threat intelligence. We exemplify this notion through various metrics, including correctness, relevance, utility, and uniqueness of indicators. In order to realize the notion of \qoi, we conducted an empirical study and taken a benchmark approach to define quality metrics, then we obtained a reference dataset and utilized tools from the machine learning literature for quality assessment. We compared these results against a model that only considers the volume of information as a metric for contribution, and unveiled various interesting observations, including the ability to spot low quality contributions that are synonym to free riding in threat information sharing.

研究の動機と目的

• 脅威インテリジェンス共有コミュニティにおける品質認識の貢献評価の欠如に対処すること。
• 量的指標が検出できない自由乗車行動を特定・定量化すること。
• 共有された脅威インジケータの実際の価値を測る、強固で文脈に敏感なフレームワークを構築すること。
• QoIを、脅威インテリジェンスエコシステムにおける参加者の有用性を評価するための、量的指標よりも優れた代替手段として確立すること。

提案手法

• インジケータの正しさ、関連性、有用性、独自性を統合した複合指標としてQoIを定義した。
• 品質評価の基準となる真のデータとして、手動で検証されたマルウェアサンプルのデータセットを収集した。
• 機械学習技術を用いて、品質の各次元に基づいてインジケータを評価・スコア化した。
• 実際のアンチウイルススキャンデータを用いて、QoI指標と量的貢献モデルをベンチマーク比較した。
• 複数のベンダーにおけるQoIスコアと量的スコアの対比分析を実施し、差異を明らかにした。
• 高ボリュームと高品質の貢献の乖離を特定することで、潜在的な自由乗車行動を同定した。

実験結果

リサーチクエスチョン

• RQ1 単なるボリューム数の単純なカウントを超えて、脅威インジケータの質を定量的に測定する方法は何か？
• RQ2 量的貢献指標が、脅威インテリジェンス共有において自由乗車行動をどれほど効果的に検出できないか？
• RQ3 インジケータの正しさ、関連性、有用性、独自性が、実際の貢献価値とどの程度相関しているか？
• RQ4 QoI指標は、高ボリュームだが低品質な貢献者と、真に価値ある貢献者を区別できるか？
• RQ5 文脈依存の品質マーカーが、分散型脅威インテリジェンスシステムにおける貢献評価の正確性に与える影響は何か？

主な発見

• 量的貢献指標では自由乗車行動を検出できない。一部の高ボリューム貢献者は、ほぼゼロのQoIスコアを示していた。
• vendor 11、vendor 18、vendor 20 などのベンダーは、大量のインジケータを提供したが、QoIスコアは非常に低く、潜在的な自由乗車行動を示していた。
• 正しさ、関連性、有用性に基づくQoI指標は、量的スコアと顕著な乖離を示しており、高ボリュームが高品質を意味するとは限らないことを実証した。
• QoIフレームワークは、量的指標のみでは自由乗車と区別できない低品質な貢献を効果的に同定した。
• QoI指標は、量的アプローチに比べ、より強固で文脈に配慮され、実行可能である貢献評価指標を提供した。
• 本研究では、QoIが、単なるデータ量を超えて意味のある貢献を捉えることができることを確認した。特に、分散型脅威インテリジェンスコミュニティにおいて顕著であった。