[论文解读] Engineering Reliable Deep Learning Systems

P. Santhanam, Eitan Farchi+1 more|arXiv (Cornell University)|Oct 14, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 8

一句话总结

本文主张将'人工智能工程'正式确立为一门学科，以应对深度学习系统在可靠性、可信度和可维护性方面面临的挑战。文章为关键任务应用中的AI提出结构化的开发与认证实践，强调系统性方法以确保现实部署中的可重复性与安全性。

ABSTRACT

Recent progress in artificial intelligence (AI) using deep learning techniques has triggered its wide-scale use across a broad range of applications. These systems can already perform tasks such as natural language processing of voice and text, visual recognition, question-answering, recommendations and decision support. However, at the current level of maturity, the use of an AI component in mission-critical or safety-critical applications can have unexpected consequences. Consequently, serious concerns about reliability, repeatability, trust, and maintainability of AI applications remain. As AI becomes pervasive despite its shortcomings, more systematic ways of approaching AI software development and certification are needed. These fundamental aspects establish the need for a discipline on "AI Engineering". This paper presents the current perspective of relevant AI engineering concepts and some key challenges that need to be overcome to make significant progress in this important area.

研究动机与目标

• 解决在安全关键或关键任务环境中部署深度学习系统时，对可靠性、可重复性和可信度日益增长的担忧。
• 识别当前AI软件开发实践中存在的系统性缺陷，这些缺陷阻碍了认证和长期可维护性。
• 为正式化的'人工智能工程'学科奠定基础，以标准化深度学习系统的开发、测试与验证流程。
• 强调需要系统性方法，以确保AI应用中的一致性能与责任追究。
• 提供一个将工程原则整合到AI开发中的框架，以支持认证与监管合规。

提出的方法

• 提出一种基于传统软件工程实践的结构化AI系统工程学科。
• 引入'人工智能工程'作为正式框架，以指导深度学习模型的开发、测试与认证。
• 强调在AI系统开发中实现可追溯性、可重复性和可审计性的必要性。
• 倡导标准化的生命周期管理，包括需求规范、验证与持续监控。
• 将形式化验证与测试策略整合到AI开发流程中，以提升可靠性。
• 呼吁制定针对高风险应用（如医疗、交通和公共服务）的领域特定指南与认证标准。

实验结果

研究问题

• RQ1 在关键任务应用中部署深度学习系统时，其关键的可靠性与可信度挑战是什么？
• RQ2 系统性工程实践如何适应深度学习系统的独特特性？
• RQ3 为实现AI系统的认证与监管批准，需要哪些结构性与程序性变革？
• RQ4 当前的AI开发实践在确保可重复性与可维护性方面存在哪些不足？
• RQ5 如何将人工智能工程原则制度化，以支持长期的系统可靠性与责任追究？

主要发现

• 尽管在受控环境中表现强劲，当前的深度学习系统仍缺乏关键任务应用所必需的可靠性与可重复性。
• 缺乏正式的工程实践导致行为不一致、可审计性差，且难以通过认证。
• 迫切需要一门专门学科——'人工智能工程'——以标准化开发、测试与验证流程。
• 系统性地实施需求管理、可追溯性与验证，对提升AI系统的可信度与安全性至关重要。
• AI系统的正式认证路径仍发展不足，成为其在监管领域应用的障碍。
• 本文将人工智能工程定位为软件工程的必要演进，以应对深度学习系统所特有的挑战。