[論文レビュー] Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence

Sebastian Raschka, Joshua T. Patterson+1 more|arXiv (Cornell University)|Feb 12, 2020

Computational Physics and Python Applications被引用数 10

ひとこと要約

本サーベイは、Pythonにおける機械学習を駆動するコア技術、ライブラリ、ハードウェアトレンドについて包括的な概要を提供しており、ディープラーニング、GPUアクセラレーション、スケーラブルなデータサイエンスに焦点を当てている。Pythonのエコシステムとコミュニティ支援のおかげで、その優位性が強調されている一方で、量子機械学習や強化学習といった新たな分野についても言及している。

ABSTRACT

Smarter applications are making better use of the insights gleaned from data, having an impact on every industry and research discipline. At the core of this revolution lies the tools and the methods that are driving it, from processing the massive piles of data generated each day to learning from and taking useful action. Deep neural networks, along with advancements in classical ML and scalable general-purpose GPU computing, have become critical components of artificial intelligence, enabling many of these astounding breakthroughs and lowering the barrier to adoption. Python continues to be the most preferred language for scientific computing, data science, and machine learning, boosting both performance and productivity by enabling the use of low-level libraries and clean high-level APIs. This survey offers insight into the field of machine learning with Python, taking a tour through important topics to identify some of the core hardware and software paradigms that have enabled it. We cover widely-used libraries and concepts, collected together for holistic comparison, with the goal of educating the reader and driving the field of Python machine learning forward.

研究の動機と目的

• Pythonにおける機械学習の進化と現状を分析し、ソフトウェアとハードウェアの連携に焦点を当てる。
• Pythonで高性能なデータサイエンスおよび機械学習ワークロードを実現するための主要なライブラリとフレームワークを特定する。
• GPUコンピューティングとハードウェアアクセラレーションが、ディープラーニングおよびスケーラブルなAIアプリケーションの発展に果たす役割を検証する。
• Pythonエコシステム内での量子機械学習や強化学習といった新たなトレンドを調査する。
• 研究者や実務家が最適な技術を選定できるよう、ツールとパラダイムを包括的に比較する。

提案手法

• 科学的計算およびディープラーニングの分野で広く使われているPythonライブラリ（NumPy、PyTorch、TensorFlow、JAX）を調査する。
• CPythonとPyPyなどの代替実装との間の性能的トレードオフを、CPU集約的ワークロードを対象として分析する。
• C/C++およびCUDAで書かれた低レベルで高性能なライブラリが、PythonベースのMLワークロードをどのように加速するかを評価する。
• NCCLやcuDNNといったライブラリを介したGPUコンピューティングの統合を検討し、スケーラブルなディープラーニング学習を可能にする。
• 強化学習および量子機械学習分野における最近の進展をレビューし、TensorFlow QuantumやPennyLaneを含む事例を検討する。
• クラウドインfraストラクチャおよび分散コンピューティングフレームワークが、大規模なデータ処理およびモデル学習を可能にする影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 Pythonにおける高性能な機械学習を可能にする主なハードウェアおよびソフトウェアコンponentsは何か？
• RQ2 GPUコンピューティングと最適化された低レベルライブラリは、PythonベースのMLシステムのスケーラビリティにどのように寄与しているか？
• RQ3 CPythonの性能制限は何か？また、PyPyなどの代替実装はMLワークロードにおいてどのように比較されるか？
• RQ4 Pythonのディープラーニングフレームワークを活用することで、強化学習はどのように加速されているか？
• RQ5 量子機械学習のような新技術は、PythonベースのAI研究の今後の役割をどのように果たすか？

主な発見

• Pythonは、その可読性、広範なエコシステム、強力なコミュニティ支援のおかげで、データサイエンスおよび機械学習分野で支配的である。
• GPUコンピューティングおよびcuDNNやNCCLといったライブラリは、Pythonベースのシステムにおけるディープラーニングワークロードの加速に不可欠である。
• PyPyは平均してPythonコードを最大4倍に加速できるが、現代のPythonライブラリとの互換性が限られているため、データサイエンスおよび機械学習分野での利用が制限されている。
• PyTorch や TensorFlow といったディープラーニングフレームワークと強化学習の統合により、アタリゲーム や スターフィートII のマスタリーといった複雑な制御タスクで画期的な進展が達成された。
• TensorFlow Quantum や PennyLane といった量子機械学習ライブラリは、将来的な実際の量子プロセッサのサポートを想定して、古典的ハードウェア上で量子アルゴリズムのプロトタイピングとシミュレーションを可能にしている。
• スケーラブルなクラウドインfraストラクチャ、高性能ライブラリ、PythonのハイレベルAPIの組み合わせにより、かつては実行不可能とされていたMLワークフローが現実的で効率的なものとなった。