[论文解读] Assuring the Machine Learning Lifecycle: Desiderata, Methods, and Challenges

Rob Ashmore, Radu Călinescu+1 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 160被引用 87

一句话总结

关于机器学习生命周期保证的综合综述，详细描述数据管理、模型学习、验证和部署的需求与方法，并概述尚待解决的挑战。

ABSTRACT

Machine learning has evolved into an enabling technology for a wide range of highly successful applications. The potential for this success to continue and accelerate has placed machine learning (ML) at the top of research, economic and political agendas. Such unprecedented interest is fuelled by a vision of ML applicability extending to healthcare, transportation, defence and other domains of great societal importance. Achieving this vision requires the use of ML in safety-critical applications that demand levels of assurance beyond those needed for current ML applications. Our paper provides a comprehensive survey of the state-of-the-art in the assurance of ML, i.e. in the generation of evidence that ML is sufficiently safe for its intended use. The survey covers the methods capable of providing such evidence at different stages of the machine learning lifecycle, i.e. of the complex, iterative process that starts with the collection of the data used to train an ML component for a system, and ends with the deployment of that component within the system. The paper begins with a systematic presentation of the ML lifecycle and its stages. We then define assurance desiderata for each stage, review existing methods that contribute to achieving these desiderata, and identify open challenges that require further research.

研究动机与目标

• 定义机器学习生命周期及其四个阶段（数据管理、模型学习、模型验证、模型部署）。
• 识别在各阶段产生的工件的保证需求，以在安全关键系统中实现可信的ML。
• 回顾各阶段现有的保证方法，并讨论它们的假设、优点和局限性。
• 突出在整个生命周期中获取、验证和整合保证证据的仍未解决的挑战。

提出的方法

• 系统性地定义ML生命周期及其阶段。
• 将保证需求映射到各阶段产生的工件（数据集、模型、验证结果）。
• 调查有助于保证的数据管理、模型学习、验证（包括形式化验证）和部署的方法。
• 讨论在监督学习、无监督学习和强化学习中的局限性与适用性。
• 识别需要进一步研究和开发的开放挑战。

实验结果

研究问题

• RQ1 在ML生命周期的每个阶段需要哪些保证证据以支持安全关键部署？
• RQ2 存在哪些方法可以在数据管理、模型学习、验证和部署中生成并验证这些保证证据？
• RQ3 在整个ML生命周期中实现全面保障的主要挑战是什么？

主要发现

• 本文提供了一个具有四个阶段的结构化生命周期并解释了在每个阶段应如何生成保证证据。
• 它综合了数据管理、模型学习、验证和部署等领域的方法及其假设与局限性。
• 它将形式化验证、基于测试的验证和部署时监测作为保证的一部分进行讨论。
• 它指出在数据质量、输入域的完整性、泄漏、偏差和对抗鲁棒性方面的开放挑战。
• 该综述主张建立综合的保证案例，整合整个生命周期各阶段的证据，以用于安全关键系统。