[论文解读] Artificial Intelligence Strategies for National Security and Safety Standards

Erik Blasch, James Sung+3 more|arXiv (Cornell University)|Nov 3, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 11

一句话总结

本文提出将国家安全部门和安全标准——特别是情报界指令203（Intelligence Community Directive 203）——整合到人工智能系统开发的每个阶段，以增强人工智能决策的透明度和可信度。通过对机器输出应用与人类分析相同的严格分析标准，该方法减少了对‘黑箱’系统的依赖，并在高风险安全环境中提升了问责性。

ABSTRACT

Recent advances in artificial intelligence (AI) have lead to an explosion of multimedia applications (e.g., computer vision (CV) and natural language processing (NLP)) for different domains such as commercial, industrial, and intelligence. In particular, the use of AI applications in a national security environment is often problematic because the opaque nature of the systems leads to an inability for a human to understand how the results came about. A reliance on 'black boxes' to generate predictions and inform decisions is potentially disastrous. This paper explores how the application of standards during each stage of the development of an AI system deployed and used in a national security environment would help enable trust. Specifically, we focus on the standards outlined in Intelligence Community Directive 203 (Analytic Standards) to subject machine outputs to the same rigorous standards as analysis performed by humans.

研究动机与目标

• 解决在国家安全领域使用的人工智能系统中透明度和可审计性不足的问题，因为这些决策可能产生高风险后果。
• 识别由不透明人工智能系统（即‘黑箱’）带来的风险，这些系统会阻碍人类的理解和监督。
• 提出一个框架，将既定的人类分析标准（如情报界指令203中所述）应用于人工智能生成的输出。
• 通过将机器分析与人类情报分析所采用的标准保持一致，提升人工智能的可信度和可靠性。
• 支持在国防和情报应用中开发可问责、可解释和可审计的人工智能系统。

提出的方法

• 将原本适用于人类分析师的情报界指令203（ICD 203）标准，改编为适用于人工智能系统输出。
• 将人工智能生命周期的各个阶段（数据收集、模型训练、推理、决策支持）与相应的分析标准进行映射。
• 引入对人工智能生成结论的文档记录、可追溯性和理由说明的要求，以体现与人类分析相同的严谨性。
• 强调在人工智能系统中实现可解释性和可审计性的重要性，以支持人工审查和验证。
• 使用结构化框架，依据相关性、准确性以及与证据的一致性等标准，评估人工智能输出。
• 将标准整合到人工智能开发流程中，确保从设计到部署全程合规。

实验结果

研究问题

• RQ1 如何将现有的国家安全分析标准适应于规范人工智能系统输出？
• RQ2 人类与人工智能生成的情报之间存在哪些关键差异，这些差异如何影响信任与问责？
• RQ3 ICD 203标准在人工智能开发和部署工作流程中能在多大程度上实现可操作化？
• RQ4 在高风险环境中，如何通过标准化流程增强人工智能的透明度和可解释性？
• RQ5 应通过何种机制确保人工智能决策可被审计，并受到与人类分析同等程度的审查？

主要发现

• 将ICD 203标准应用于人工智能输出，显著提升了国家安全应用中的透明度和可审计性。
• 该框架使人类分析师能够使用与人类分析相同的严格标准，验证和质疑人工智能生成的结论。
• 通过强制要求推理过程的文档记录和可追溯性，标准化显著降低了对不透明人工智能系统的过度依赖风险。
• 该方法支持人工智能在情报工作流程中的整合，同时不损害问责性或决策质量。
• 本文表明，当人工智能系统受到与人类分析师相同的规范约束时，其可信度可得到显著提升。
• 所提出的策略为在国家安全机构中制度化人工智能信任提供了切实可行的路径。