[论文解读] Integrating Artificial Intelligence into Weapon Systems

Philip Feldman, Aaron Dant+1 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 9

一句话总结

本文提出一种动态的、人机协同的框架，用于将人工智能整合到武器系统中，强调互动性、透明度和鲁棒性，以防止灾难性故障。文章认为，若缺乏严格监管，人工智能必将导致完全自主、持续运行的系统，从而面临伦理和战略崩溃的风险。

ABSTRACT

The integration of Artificial Intelligence (AI) into weapon systems is one of the most consequential tactical and strategic decisions in the history of warfare. Current AI development is a remarkable combination of accelerating capability, hidden decision mechanisms, and decreasing costs. Implementation of these systems is in its infancy and exists on a spectrum from resilient and flexible to simplistic and brittle. Resilient systems should be able to effectively handle the complexities of a high-dimensional battlespace. Simplistic AI implementations could be manipulated by an adversarial AI that identifies and exploits their weaknesses. In this paper, we present a framework for understanding the development of dynamic AI/ML systems that interactively and continuously adapt to their user's needs. We explore the implications of increasingly capable AI in the kill chain and how this will lead inevitably to a fully automated, always on system, barring regulation by treaty. We examine the potential of total integration of cyber and physical security and how this likelihood must inform the development of AI-enabled systems with respect to the "fog of war", human morals, and ethics.

研究动机与目标

• 开发一种将人工智能/机器学习整合到军事武器系统中的结构化框架，平衡自主性与人工监督。
• 应对脆弱、不透明的人工智能系统在对抗性环境中可能被利用的风险。
• 探讨人工智能驱动的自动化在杀手机制中的影响及其可能绕过人工决策的潜在风险。
• 倡导在致命性自主武器不可逆部署之前，建立伦理和监管保障措施。
• 探索鲁棒、可解释的人工智能在军事与民用领域双重用途的潜力。

提出的方法

• 提出四层操作模型：人机协同、人机在环、人工启动的‘发射后不管’模式，以及事后取证。
• 强调互动性，以实现实时用户对人工智能行为的验证与调整。
• 通过来源追溯日志和激活图谱，强调透明度，以追踪决策来源。
• 将鲁棒性作为核心要求：系统在不确定性下应能平稳降级，并发出低置信度信号。
• 以O-O-D-A循环（观察、调整、决策、行动）作为分析人工智能在战术决策中作用的概念框架。
• 倡导对人工智能-人工智能对抗进行广泛模拟，以在部署前预见潜在的涌现行为。

实验结果

研究问题

• RQ1 如何在保持人工控制的同时，实现人工智能在武器系统中的实时适应性整合？
• RQ2 在高维、动态的战场环境中部署脆弱、不透明的人工智能系统存在哪些风险？
• RQ3 在不损害性能的前提下，人工智能系统在多大程度上可以实现透明化与可解释性？
• RQ4 从人机协同向完全自主系统过渡会带来哪些伦理与战略后果？
• RQ5 在人工智能系统做出无法解释的决策时，如何通过事后取证确保问责性？

主要发现

• 缺乏鲁棒性或透明度的人工智能系统在高维决策空间中极易受到对抗性操纵。
• 若无国际监管，从人机协同向完全自主系统的过渡几乎是不可避免的。
• 当前人工智能的发展正加速能力提升并降低成本，加剧了人工智能军备竞赛的风险。
• 人机团队中可能出现的涌现行为可能与现有军事条令或伦理标准不一致。
• 高保真度的数据来源追溯对于事后取证和问责至关重要，但目前仍发展不足。
• 对致命性自主武器实施监管或禁止，是避免失控部署的合理选择，类似于化学与生物武器的管控。