[论文解读] Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence

Sebastian Raschka, Joshua T. Patterson+1 more|arXiv (Cornell University)|Feb 12, 2020

Computational Physics and Python Applications被引用 10

一句话总结

本综述全面概述了推动 Python 中机器学习的核心技术、库和硬件趋势，重点聚焦深度学习、GPU 加速和可扩展数据科学。它强调了由于高性能库生态系统和社区支持，Python 在该领域的主导地位，同时也探讨了量子机器学习和强化学习等新兴领域。

ABSTRACT

Smarter applications are making better use of the insights gleaned from data, having an impact on every industry and research discipline. At the core of this revolution lies the tools and the methods that are driving it, from processing the massive piles of data generated each day to learning from and taking useful action. Deep neural networks, along with advancements in classical ML and scalable general-purpose GPU computing, have become critical components of artificial intelligence, enabling many of these astounding breakthroughs and lowering the barrier to adoption. Python continues to be the most preferred language for scientific computing, data science, and machine learning, boosting both performance and productivity by enabling the use of low-level libraries and clean high-level APIs. This survey offers insight into the field of machine learning with Python, taking a tour through important topics to identify some of the core hardware and software paradigms that have enabled it. We cover widely-used libraries and concepts, collected together for holistic comparison, with the goal of educating the reader and driving the field of Python machine learning forward.

研究动机与目标

• 分析 Python 中机器学习的演变过程和当前状态，重点关注软件与硬件的协同作用。
• 识别推动 Python 中高性能数据科学和机器学习工作负载的关键库和框架。
• 研究 GPU 计算和硬件加速在推进深度学习和可扩展 AI 应用中的作用。
• 探索 Python 生态系统中诸如量子机器学习和强化学习等新兴趋势。
• 提供工具和范式的整体比较，以指导研究人员和从业者选择最优技术。

提出的方法

• 调查广泛使用的 Python 库（如 NumPy、PyTorch、TensorFlow 和 JAX）在科学计算和深度学习中的应用。
• 分析 CPython 与 PyPy 等替代实现版本在 CPU 密集型工作负载中的性能权衡。
• 评估用 C/C++ 和 CUDA 编写的低级高性能库在加速基于 Python 的机器学习工作负载中的作用。
• 研究通过 NCCL 和 cuDNN 等库集成 GPU 计算，以实现可扩展的深度学习训练。
• 回顾强化学习和量子机器学习的最新进展，包括 TensorFlow Quantum 和 PennyLane。
• 评估云基础设施和分布式计算框架对实现大规模数据处理和模型训练的影响。

实验结果

研究问题

• RQ1 哪些关键的软硬件组件支撑了 Python 中高性能机器学习的实现？
• RQ2 GPU 计算和优化的低级库如何促进基于 Python 的机器学习系统的可扩展性？
• RQ3 CPython 的性能限制是什么？与 PyPy 等替代实现相比，在机器学习工作负载中表现如何？
• RQ4 如何利用深度学习框架在 Python 中加速强化学习？
• RQ5 诸如量子机器学习等新兴技术在未来基于 Python 的 AI 研究中扮演什么角色？

主要发现

• 由于其可读性、广泛的生态系统和强大的社区支持，Python 在数据科学和机器学习领域仍占据主导地位。
• GPU 计算以及 cuDNN 和 NCCL 等库对于加速基于 Python 的系统中的深度学习工作负载至关重要。
• PyPy 平均可将 Python 代码加速四倍，但其与现代 Python 库的兼容性有限，限制了其在数据科学和机器学习中的应用。
• 将 PyTorch 和 TensorFlow 等深度学习框架与强化学习相结合，已在复杂控制任务中实现突破，例如掌握雅达利游戏和《星际争霸 II》。
• 量子机器学习库如 TensorFlow Quantum 和 PennyLane 正在使研究人员能够基于经典硬件对量子算法进行原型设计和仿真，未来还将支持实际量子处理器。
• 可扩展的云基础设施、高性能库与 Python 的高级 API 相结合，使得以往难以处理的机器学习工作流变得可行且高效。