[论文解读] Founding The Domain of AI Forensics

Ibrahim Baggili, Vahid Behzadan|arXiv (Cornell University)|Dec 11, 2019

Digital and Cyber Forensics参考文献 29被引用 5

一句话总结

本文将人工智能取证确立为人工智能安全领域下的一个新学科，提出了一套正式框架，通过结构化证据收集与分析来调查人工智能系统中的故障。它引入了若干子领域的分类体系，如模型性能、恶意软件和弹道取证等，并指出了核心挑战，如人工智能不可解释性及反取证技术。

ABSTRACT

With the widespread integration of AI in everyday and critical technologies, it seems inevitable to witness increasing instances of failure in AI systems. In such cases, there arises a need for technical investigations that produce legally acceptable and scientifically indisputable findings and conclusions on the causes of such failures. Inspired by the domain of cyber forensics, this paper introduces the need for the establishment of AI Forensics as a new discipline under AI safety. Furthermore, we propose a taxonomy of the subfields under this discipline, and present a discussion on the foundational challenges that lay ahead of this new research area.

研究动机与目标

• 为应对在关键及日常技术中部署的人工智能系统发生故障后，日益增长的科学严谨且具有法律可采信度的调查需求。
• 将人工智能取证正式确立为人工智能安全领域的一个独立子领域，效仿网络取证的模式，以确保对人工智能故障的可靠根本原因分析。
• 提出人工智能取证子领域的分类体系，包括模型性能、恶意软件、识别与提取、弹道取证等，以系统化调查方法。
• 识别基础性挑战，如人工智能不可解释性、反取证技术，以及人工智能与网络取证领域之间的脱节问题。
• 建立符合达伯特标准（Daubert standard）的科学证据框架，确保在法律语境中具有可采信性。

提出的方法

• 提出人工智能取证的正式工作定义：即对与人工智能系统故障相关的数字证据进行科学且合法的提取、收集、分析与报告。
• 将数字取证中的AAA（获取、认证、分析）模型适配为人工智能取证调查的核心操作框架。
• 提出人工智能取证子领域的分类体系：模型性能取证（例如激活分析）、模型恶意软件取证（例如后门检测）、模型识别/提取取证，以及模型弹道取证（例如模型指纹识别）。
• 应用达伯特标准（测试、误差率、发表、公认性）以确保人工智能取证方法具备科学有效性并可在法庭上被采信。
• 建议使用受控仿真环境（例如沙盒）来复现并分析恶意或可疑的模型行为。
• 提出抽象化技术（例如心理病态抽象）以应对不可解释的人工智能系统，从而在复杂性背景下仍能实现取证分析。

实验结果

研究问题

• RQ1 如何建立一个正式的、科学严谨且具有法律可采信性的框架，用于调查人工智能系统中的故障？
• RQ2 哪些是与人工智能故障取证调查相关的关键子领域和证据类型？
• RQ3 如何确保人工智能系统的取证方法在法庭上具有可采信性，符合如达伯特程序等标准？
• RQ4 哪些主要的技术与系统性挑战——如不可解释性与反取证技术——阻碍了人工智能取证的发展？
• RQ5 人工智能与网络取证领域应如何协作，以弥合当前的脱节，推动这一新兴领域的发展？

主要发现

• 人工智能取证被提出作为人工智能安全领域下的一个新正式学科，效仿网络取证模式，以实现对人工智能故障的科学严谨且具有法律可采信性的调查。
• 提出四个核心子领域的分类体系：模型性能、恶意软件、识别/提取与弹道取证，以系统化人工智能系统的取证调查。
• 将数字取证中的AAA（获取、认证、分析）框架适配为人工智能取证的基础操作模型。
• 应用达伯特标准（测试、误差率、发表、公认性）以确保人工智能取证方法具备科学有效性并可在法庭上被采信。
• 主要挑战包括复杂人工智能系统的不可解释性、人工智能反取证技术的潜在兴起，以及人工智能安全与网络取证领域之间的当前脱节。
• 本文识别出一个关键研究空白：尽管人工智能安全与可解释性领域日益受到关注，但目前尚无正式领域专门用于人工智能故障的取证调查，因此亟需基础性研究与跨学科协作。