[论文解读] The Rise of GoodFATR: A Novel Accuracy Comparison Methodology for Indicator Extraction Tools

Juan Antonio Caballero-Hernández, Gibran Gómez+4 more|arXiv (Cornell University)|Jul 29, 2022

Multi-Criteria Decision Making被引用 5

一句话总结

本文提出了 GoodFATR，一种新颖的平台，采用多数投票方法在无需人工标注真实标签的情况下比较指标提取工具的准确性。通过持续收集来自六个来源的 472,891 份威胁报告，并提取 978,151 个指标，GoodFATR 识别出 618,217 个 IOCs，并评估了 7 个开源工具，证明多数投票方法能够在网络威胁情报领域实现可靠且可扩展的准确性比较。

ABSTRACT

To adapt to a constantly evolving landscape of cyber threats, organizations actively need to collect Indicators of Compromise (IOCs), i.e., forensic artifacts that signal that a host or network might have been compromised. IOCs can be collected through open-source and commercial structured IOC feeds. But, they can also be extracted from a myriad of unstructured threat reports written in natural language and distributed using a wide array of sources such as blogs and social media. There exist multiple indicator extraction tools that can identify IOCs in natural language reports. But, it is hard to compare their accuracy due to the difficulty of building large ground truth datasets. This work presents a novel majority vote methodology for comparing the accuracy of indicator extraction tools, which does not require a manually-built ground truth. We implement our methodology into GoodFATR, an automated platform for collecting threat reports from a wealth of sources, extracting IOCs from the collected reports using multiple tools, and comparing their accuracy. GoodFATR supports 6 threat report sources: RSS, Twitter, Telegram, Malpedia, APTnotes, and ChainSmith. GoodFATR continuously monitors the sources, downloads new threat reports, extracts 41 indicator types from the collected reports, and filters non-malicious indicators to output the IOCs. We run GoodFATR over 15 months to collect 472,891 reports from the 6 sources; extract 978,151 indicators from the reports; and identify 618,217 IOCs. We analyze the collected data to identify the top IOC contributors and the IOC class distribution. We apply GoodFATR to compare the IOC extraction accuracy of 7 popular open-source tools with GoodFATR's own indicator extraction module.

研究动机与目标

• 解决网络威胁情报中指标提取工具缺乏可靠、大规模评估方法的问题。
• 克服为评估 IOC 提取准确性而构建大规模真实标签数据集的挑战。
• 实现对来自 RSS、Twitter 和 Telegram 等多样化来源的威胁报告的持续、自动化收集。
• 开发一种利用工具间共识比较多个指标提取工具准确性的方法。
• 识别不同威胁报告来源中的主要 IOC 贡献者及其分布模式。

提出的方法

• GoodFATR 持续监控六个威胁报告来源：RSS、Twitter、Telegram、Malpedia、APTNots 和 ChainSmith。
• 基于 SHA256 哈希对报告进行收集和去重，同时保留跨来源的可追溯性。
• 通过 iocsearcher 模块使用正则表达式提取 41 种指标类型，并过滤掉非恶意指标。
• 应用一种新颖的多数投票方法，将工具间的共识视为正确性的代理，以比较工具的准确性。
• 通过 URL 分析和转发（retweet）分析识别新的高价值来源，实现数据源的动态扩展。
• GoodFATR 通过 ETag 和 HTTP HEAD 请求检查支持增量更新，以检测报告版本的变化。

实验结果

研究问题

• RQ1 如何在不依赖人工标注真实标签的情况下比较指标提取工具的准确性？
• RQ2 哪些威胁报告来源贡献了最多的 IOCs？其主要 IOC 类型是什么？
• RQ3 在不同 IOC 类型下，主流开源指标提取工具的准确性如何比较？
• RQ4 IOC 类型在不同威胁报告来源及随时间的分布情况如何？
• RQ5 在多个工具之间采用多数投票方法是否能可靠地近似真实标签，用于 IOC 提取评估？

主要发现

• GoodFATR 在 15 个月内从六个来源收集了 472,891 份威胁报告，提取了 978,151 个指标，并识别出 618,217 个 IOCs。
• 多数投票方法成功实现了对 7 个开源指标提取工具的比较评估，且无需人工标注。
• 主要的 IOC 贡献来源为 Malpedia 和 APTnotes，其贡献了大量与域名、IP 地址和文件哈希相关的 IOC。
• IOC 类型的分布显示在不同来源间存在显著差异，社交媒体和博客贡献了更多样化的类型，如区块链地址和社会账号。
• GoodFATR 中的 iocsearcher 模块表现出色，可作为可靠的比较基线。
• 平台的动态源发现机制通过 URL 和转发分析成功识别出新的高价值来源。