[论文解读] AI Forensics: Did the Artificial Intelligence System Do It? Why?

Johannes Schneider, Frank Breitinger|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 6

一句话总结

本文提出了一套框架，用于识别造成事件的AI系统及其动机，尤其针对恶意设计或非预期行为的情况。通过强化学习和卷积神经网络的案例研究，表明AI取证需要深厚的机器学习专业知识，并呼吁立法强制收集可追溯数据，实现AI系统的唯一标识。

ABSTRACT

In an increasingly autonomous manner AI make decisions impacting our daily life. Their actions might cause accidents, harm or, more generally, violate regulations -- either intentionally or not. Thus, AI might be considered suspects for various events. Therefore, it is essential to relate particular events to an AI, its owner and its creator. Given a multitude of AI from multiple manufactures, potentially, altered by their owner or changing through self-learning, this seems non-trivial. This paper discusses how to identify AI responsible for incidents as well as their motives that might be malicious by design. In addition to a conceptualization, we conduct two case studies based on reinforcement learning and convolutional neural networks to illustrate our proposed methods and challenges. Our cases illustrate that catching AI systems seems often far from trivial and requires extensive expertise in machine learning. Legislative measures that enforce mandatory information to be collected during operation of AI as well as means to uniquely identify might facilitate the problem.

研究动机与目标

• 为应对日益增长的在日常生活中将事件归因于自主AI系统的挑战。
• 调查AI系统（可能被修改或自我学习）在造成伤害后，如何追溯至其创建者或所有者。
• 探讨AI中恶意设计的可能性，以及此类意图如何被检测。
• 开发一个支持事件调查与问责的AI取证概念框架。
• 倡导立法措施，确保AI系统在运行期间具备可追溯性与唯一标识。

提出的方法

• 提出AI取证的概念框架，以将事件与特定AI系统、其所有者及创建者关联起来。
• 采用强化学习和卷积神经网络的案例研究，展示现实世界AI系统中取证分析的挑战。
• 通过分析系统行为、决策日志和模型更新，将行为追溯至特定AI实例。
• 强调在AI运行期间需进行详细日志记录和元数据收集，以支持取证调查。
• 强调识别AI行为需要深厚的机器学习专业知识及模型解释技术。
• 建议通过立法强制实施强制性数据收集和AI系统唯一标识机制。

实验结果

研究问题

• RQ1 在存在多个AI供应商和自修改模型的复杂生态系统中，如何可靠地将有害或违反监管的事件归因于特定AI系统？
• RQ2 哪些取证技术能够检测AI行为是否为故意恶意设计，而非偶然或非预期行为？
• RQ3 当AI系统被所有者修改或通过自我学习演化后，调查过程中会面临哪些技术和程序上的挑战？
• RQ4 立法与技术措施如何协同提升AI系统在事件后的可追溯性与问责性？
• RQ5 模型特定特征（如训练数据、超参数和推理日志）在识别责任AI系统中起什么作用？

主要发现

• 由于现代AI架构的复杂性及其适应性，事件后识别责任AI系统往往极为困难。
• 强化学习与卷积神经网络的案例研究揭示了取证分析中显著的技术挑战，且需要深厚的机器学习专业知识。
• 自我修改及所有者对AI系统的修改可能模糊责任链条，使事件归因更加复杂。
• 缺乏标准化日志记录和唯一标识机制严重阻碍取证调查。
• 立法强制实施强制性数据收集和唯一AI标识是提升可追溯性与问责性的关键。
• 当前AI系统缺乏内置的取证准备能力，导致事件后分析在技术上困难且耗时。