[论文解读] Battling the Digital Forensic Backlog through Data Deduplication

Mark Scanlon|arXiv (Cornell University)|Oct 2, 2016

Digital and Cyber Forensics参考文献 10被引用 11

一句话总结

本文提出一种集中式、基于数据库的数据去重系统，通过消除对已处理证据的冗余采集、存储和重新分析，以减少数字取证积压。通过仅存储唯一的数据对象并利用密码学哈希技术，该系统显著降低了存储、带宽和处理时间，同时支持自动化筛选、黑名单管理及时间点重建。

ABSTRACT

In everyday life. Technological advancement can be found in many facets of life, including personal computers, mobile devices, wearables, cloud services, video gaming, web-powered messaging, social media, Internet-connected devices, etc. This technological influence has resulted in these technologies being employed by criminals to conduct a range of crimes -- both online and offline. Both the number of cases requiring digital forensic analysis and the sheer volume of information to be processed in each case has increased rapidly in recent years. As a result, the requirement for digital forensic investigation has ballooned, and law enforcement agencies throughout the world are scrambling to address this demand. While more and more members of law enforcement are being trained to perform the required investigations, the supply is not keeping up with the demand. Current digital forensic techniques are arduously time-consuming and require a significant amount of man power to execute. This paper discusses a novel solution to combat the digital forensic backlog. This solution leverages a deduplication-based paradigm to eliminate the reacquisition, redundant storage, and reanalysis of previously processed data.

研究动机与目标

• 解决由于案件数量增加和数据复杂性上升而导致的数字取证积压问题。
• 减少在多个案件中重复采集和重新分析相同数字证据所耗费的时间与资源。
• 最小化数字取证调查中的存储与带宽成本，尤其针对远程或云环境下的证据采集。
• 通过集中式数据库存储已知良性或具有罪证的文件，实现对嫌疑设备的自动化筛选与优先级排序。
• 通过仅聚焦于新颖或可疑内容的专家分析，提升调查效率。

提出的方法

• 实施一个集中式去重系统，使用密码学哈希（如 SHA-256）仅存储每个唯一数字对象（文件、数据片段、未分配空间）的单一副本。
• 利用数据库将新采集数据的哈希值与现有条目进行索引与比对，以在采集或存储前检测重复项。
• 将去重系统与现有数字取证工具（如 EnCase、FTK Imager）集成，以优化证据采集与处理工作流。
• 通过去重减少传输数据量，实现远程证据采集的 API 集成，提升速度与效率。
• 在专家分析过程中，通过标记对象为良性或具有罪证，实现已知文件的自动化黑名单/白名单管理。
• 通过仅存储文件系统变更而非完整磁盘镜像，借助去重数据存储，实现高效的时间点重建。

实验结果

研究问题

• RQ1 集中式去重系统能否通过消除冗余数据处理，显著减少数字取证调查的时间与成本？
• RQ2 数据去重在多大程度上可减少数字取证工作流中的存储与带宽需求，尤其是在云环境和远程证据采集中？
• RQ3 去重技术如何支持在数字取证调查中对嫌疑设备进行自动化筛选与优先级排序？
• RQ4 系统级数据去重对减少人工分析工作量、提升调查人员对新颖或可疑内容的关注度有何影响？
• RQ5 去重数据存储是否能实现从多次采集中高效、可行的时间点证据重建？

主要发现

• 去重系统仅存储每个唯一数字对象的单一副本，显著降低了基础设施成本。
• 由于传输数据量大幅减少，远程证据采集时间显著缩短，尤其在处理云或网络源时更为明显。
• 系统支持已知文件的自动化黑名单/白名单管理，实现更快速的筛选与高价值证据优先处理。
• 人工分析工作量减少，因为已分析过的文件（无论良性或具有罪证）均被标记并排除在重新处理之外。
• 调查人员可专注于新内容或未知内容，从而提升效率，加快筛选与分析阶段的案件处理进度。
• 由于使用了去重数据存储，仅捕获文件系统变更而非完整磁盘镜像，使得时间点重建成为可行且高效的操作。