[论文解读] Certifiable Artificial Intelligence Through Data Fusion

Erik Blasch, Junchi Bin+1 more|arXiv (Cornell University)|Nov 3, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用 5

一句话总结

本文提出了一种通过数据融合实现可认证人工智能的框架，整合多源数据（例如图像融合）以提升人工智能系统的可靠性与性能边界。通过应用设计与操作测试方法，该方法可实现可验证的性能指标——以物体识别精度与距离的案例研究为例进行验证——从而支持在政府及公共部门部署人工智能时建立信任。

ABSTRACT

This paper reviews and proposes concerns in adopting, fielding, and maintaining artificial intelligence (AI) systems. While the AI community has made rapid progress, there are challenges in certifying AI systems. Using procedures from design and operational test and evaluation, there are opportunities towards determining performance bounds to manage expectations of intended use. A notional use case is presented with image data fusion to support AI object recognition certifiability considering precision versus distance.

研究动机与目标

• 解决在实际部署中对人工智能系统进行认证的关键挑战，特别是在安全关键型政府和公共部门应用中。
• 识别当前人工智能认证实践中的缺陷，特别是缺乏标准化的性能边界和可验证指标。
• 开发一种方法论，通过数据融合与基于测试的评估建立可度量的性能预期。
• 通过一个概念性应用场景（涉及图像数据融合的物体识别）证明可认证人工智能的可行性。
• 通过与既定的测试与评估（T&E）程序对齐，弥合人工智能开发与实际验证之间的差距。

提出的方法

• 利用数据融合技术整合多模态或多传感器图像数据，以提升人工智能模型的输入质量。
• 应用正式的设计与操作测试与评估（T&E）程序，在受控条件下量化人工智能系统的性能。
• 通过物体识别任务中的精度与距离指标定义性能边界，以评估可靠性。
• 整合系统级验证协议，确保在不同运行场景下的一致性与可重复性。
• 使用一个概念性应用场景，通过图像数据融合模拟真实部署环境，以验证认证框架。
• 建立从数据输入到性能结果的可追溯性，以支持可审计性与认证准备就绪。

实验结果

研究问题

• RQ1 如何系统性地将数据融合整合到人工智能认证中，以提升其可靠性和可信度？
• RQ2 在运行环境中，哪些性能指标最适用于人工智能系统的认证？
• RQ3 传统测试与评估（T&E）方法在多大程度上可被调整以用于认证人工智能驱动的系统？
• RQ4 在不同条件下，图像数据融合如何影响人工智能物体识别的精度与鲁棒性？
• RQ5 在公共部门应用中，建立人工智能系统可验证性能边界的的关键挑战是什么？

主要发现

• 通过提升输入数据质量，数据融合显著提高了人工智能物体识别的精度，尤其是在远距离条件下。
• 测试与评估（T&E）程序的整合使得人工智能系统可建立可验证的性能边界。
• 概念性应用场景表明，诸如精度与距离关系等性能指标可被可靠测量并用于认证。
• 所提出的框架支持从数据输入到系统输出的可追溯性，从而实现可审计性，并符合认证标准。
• 该方法论为政府及公共部门应用中人工智能系统的认证提供了结构化路径，降低了部署中的不确定性。
• 该方法具有可扩展性，适用于多种人工智能应用，并可进一步扩展以纳入更多数据模态和性能标准。