[论文解读] A Berkeley View of Systems Challenges for AI

Ion Stoica, Dawn Song+12 more|arXiv (Cornell University)|Dec 15, 2017

Machine Learning and Algorithms参考文献 56被引用 174

一句话总结

论文认为，推进人工智能需要在系统、架构和安全方面实现协同创新，以应对动态环境、隐私、安全以及后摩尔定律时代的可扩展性，并概述围绕在动态环境中行动、保安AI和面向AI的架构的九个研究机会。

ABSTRACT

With the increasing commoditization of computer vision, speech recognition and machine translation systems and the widespread deployment of learning-based back-end technologies such as digital advertising and intelligent infrastructures, AI (Artificial Intelligence) has moved from research labs to production. These changes have been made possible by unprecedented levels of data and computation, by methodological advances in machine learning, by innovations in systems software and architectures, and by the broad accessibility of these technologies. The next generation of AI systems promises to accelerate these developments and increasingly impact our lives via frequent interactions and making (often mission-critical) decisions on our behalf, often in highly personalized contexts. Realizing this promise, however, raises daunting challenges. In particular, we need AI systems that make timely and safe decisions in unpredictable environments, that are robust against sophisticated adversaries, and that can process ever increasing amounts of data across organizations and individuals without compromising confidentiality. These challenges will be exacerbated by the end of the Moore's Law, which will constrain the amount of data these technologies can store and process. In this paper, we propose several open research directions in systems, architectures, and security that can address these challenges and help unlock AI's potential to improve lives and society.

研究动机与目标

• 激励在动态环境中需要及时、可安全、鲁棒且保密的AI系统。
• 强调系统与体系结构在应对数据增长和后摩尔定律约束下实现可扩展AI的作用。
• 确定持续学习、终身学习、个性化以及跨组织数据使用等领域的关键挑战。
• 提出在动态环境、安全性与面向AI的架构领域的具体研究方向（R1–R9）。

提出的方法

• 汇总AI趋势（大数据、大系统、可访问性）中的见解，以识别AI部署的系统性挑战。
• 阐明九个研究机会（R1–R9），将动态性、安全性和架构与AI需求联系起来。
• 将强化学习（RL）、仿真现实、可溯源性与隐私考量描述为未来系统的核心方法论主题。
• 建议系统设计原则，如安全 enclaves、鲁棒决策以及差分隐私，在服务AI模型时使用。
• 概述数据可溯源性、可重放性与因果推断在系统级能力中的作用，以实现可解释性和可靠性。

实验结果

研究问题

• RQ1 在动态、现实世界环境中部署AI所需的系统级挑战是什么？
• RQ2 系统设计、安全机制与架构如何实现跨机构的鲁棒、私有和可扩展的AI？
• RQ3 哪些研究方向（R1–R9）能够解决持续学习、安全AI以及面向AI的硬件/软件需求？
• RQ4 如何将RL、仿真现实和可溯源性等技术整合到系统中，以提升安全性、可解释性和性能？

主要发现

• AI进展依赖数据、可扩展的系统和可访问的工具，从而在研究实验室之外实现真实世界的应用。
• 数据和计算的增长在摩尔定律放缓的背景下要求新的系统与架构创新，尤其是对关键任务AI来说。
• RL与深度学习需要支持动态任务图、毫秒级延迟和异构硬件的新系统。
• 仿真现实（SR）与持续学习对与变化环境的安全、快速、可扩展交互至关重要。
• 安全挑战促使使用 enclaves、对抗性学习防御，以及隐私保护的训练和服务——需要系统级保护。
• 跨组织的数据共享可以促进学习，但需要安全、私有的机制（enclaves、MPC、差分隐私）来保护机密性。