[論文レビュー] The Rise of GoodFATR: A Novel Accuracy Comparison Methodology for Indicator Extraction Tools

Juan Antonio Caballero-Hernández, Gibran Gómez+4 more|arXiv (Cornell University)|Jul 29, 2022

Multi-Criteria Decision Making被引用数 5

ひとこと要約

本論文では、手動でラベル付けされた正解データを必要とせずに、指標抽出ツールの正確性を比較するための多数決手法を用いる新しいプラットフォーム、GoodFATRを紹介する。6つのソースから継続的に472,891件の脅威レポートを収集し、978,151件の指標を抽出することで、GoodFATRは618,217件のIOCsを特定し、7つのオープンソースツールの評価を実施した。多数決アプローチにより、サイバー脅威インテリジェンス分野において信頼性が高くスケーラブルな正確性比較が可能であることが示された。

ABSTRACT

To adapt to a constantly evolving landscape of cyber threats, organizations actively need to collect Indicators of Compromise (IOCs), i.e., forensic artifacts that signal that a host or network might have been compromised. IOCs can be collected through open-source and commercial structured IOC feeds. But, they can also be extracted from a myriad of unstructured threat reports written in natural language and distributed using a wide array of sources such as blogs and social media. There exist multiple indicator extraction tools that can identify IOCs in natural language reports. But, it is hard to compare their accuracy due to the difficulty of building large ground truth datasets. This work presents a novel majority vote methodology for comparing the accuracy of indicator extraction tools, which does not require a manually-built ground truth. We implement our methodology into GoodFATR, an automated platform for collecting threat reports from a wealth of sources, extracting IOCs from the collected reports using multiple tools, and comparing their accuracy. GoodFATR supports 6 threat report sources: RSS, Twitter, Telegram, Malpedia, APTnotes, and ChainSmith. GoodFATR continuously monitors the sources, downloads new threat reports, extracts 41 indicator types from the collected reports, and filters non-malicious indicators to output the IOCs. We run GoodFATR over 15 months to collect 472,891 reports from the 6 sources; extract 978,151 indicators from the reports; and identify 618,217 IOCs. We analyze the collected data to identify the top IOC contributors and the IOC class distribution. We apply GoodFATR to compare the IOC extraction accuracy of 7 popular open-source tools with GoodFATR's own indicator extraction module.

研究の動機と目的

• サイバー脅威インテリジェンス分野における指標抽出ツールの信頼性があり大規模な評価手法の欠如に取り組むこと。
• IOC抽出の正確性を評価するための大規模な正解データセットを構築する課題を克服すること。
• RSS、Twitter、Telegramなどの多様なソースから継続的かつ自動的に脅威レポートを収集すること。
• 複数の指標抽出ツール間のコンSENSUSを用いて、正確性を比較するための手法を開発すること。
• 異なる脅威レポートソースにおける主要なIOC貢献者とその分布パターンを特定すること。

提案手法

• GoodFATRは、RSS、Twitter、Telegram、Malpedia、APTnotes、ChainSmithの6つの脅威レポートソースを継続的に監視する。
• SHA256ハッシュに基づいてレポートを収集・重複除去し、出典元の追跡可能性を保持する。
• iocsearcherモジュールを介して正規表現を用いて41種類の指標タイプを抽出し、悪意のある指標でないものをフィルタリングする。
• コンSENSUSを正しさの代理として扱うことで、ツール間の合意形成を用いて正確性を比較する画期的な多数決手法を適用する。
• URL解析とリツイート分析を用いて、新たな高価値ソースを同定し、データソースの動的拡張を可能にする。
• ETagおよびHTTP HEADチェックを用いて、レポートのバージョン変更を検出するインクリメンタルアップデートをサポートする。

実験結果

リサーチクエスチョン

• RQ1 手動でキュレートされた正解データに依存せずに、指標抽出ツールの正確性をどのように比較できるか？
• RQ2 どの脅威レポートソースが最も多くのIOCsを提供し、主なIOCタイプは何か？
• RQ3 一般的なオープンソース指標抽出ツールは、異なるIOCタイプにおいて、正確性の面でどのように比較できるか？
• RQ4 IOCタイプの分布は、異なる脅威レポートソースおよび時間経過とともにどのように変化するか？
• RQ5 複数のツール間の多数決アプローチは、IOC抽出評価における正解データを信頼性高く近似できるか？

主な発見

• GoodFATRは15か月間にわたり6つのソースから472,891件の脅威レポートを収集し、978,151件の指標を抽出し、618,217件のIOCsを特定した。
• 多数決手法により、手動ラベル付けを必要とせず、7つのオープンソース指標抽出ツールの比較的評価が成功裏に実施された。
• 主要なIOC貢献者はMalpediaとAPTnotesであり、ドメイン、IPアドレス、ファイルハッシュに関連する大量のIOCsを提供した。
• IOCタイプの分布は、ソースによって顕著に異なることが判明し、ソーシャルメディアやブログはブロックチェーンアドレスやソーシャルハンドルなど多様なタイプを供給していた。
• GoodFATRのiocsearcherモジュールは優れた性能を示し、比較のための信頼できるベースラインとして機能した。
• プラットフォームの動的ソース発見メカニズムは、URL解析とリツイート分析を用いて、新たな高価値ソースを効果的に同定した。