[논문 리뷰] Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence

Sebastian Raschka, Joshua T. Patterson외 1명|arXiv (Cornell University)|2020. 02. 12.

Computational Physics and Python Applications인용 수 10

한 줄 요약

이 종합적 서베이는 파이썬에서 기계학습을 이끄는 핵심 기술, 라이브러리, 하드웨어 트렌드에 대한 포괄적인 개요를 제공하며, 딥러닝, GPU 가속, 확장 가능한 데이터 과학을 강조한다. 파이썬은 고성능 라이브러리와 커뮤니티 지원 덕분에 지배적인 위치를 차지하고 있음을 강조하지만, 양자 기계학습과 강화학습과 같은 새로운 분야도 다룬다.

ABSTRACT

Smarter applications are making better use of the insights gleaned from data, having an impact on every industry and research discipline. At the core of this revolution lies the tools and the methods that are driving it, from processing the massive piles of data generated each day to learning from and taking useful action. Deep neural networks, along with advancements in classical ML and scalable general-purpose GPU computing, have become critical components of artificial intelligence, enabling many of these astounding breakthroughs and lowering the barrier to adoption. Python continues to be the most preferred language for scientific computing, data science, and machine learning, boosting both performance and productivity by enabling the use of low-level libraries and clean high-level APIs. This survey offers insight into the field of machine learning with Python, taking a tour through important topics to identify some of the core hardware and software paradigms that have enabled it. We cover widely-used libraries and concepts, collected together for holistic comparison, with the goal of educating the reader and driving the field of Python machine learning forward.

연구 동기 및 목표

• 파이썬에서 기계학습의 진화와 현재 상태를 소프트웨어와 하드웨어의 상호작용에 중점을 두고 분석하기.
• 파이썬에서 고성능 데이터 과학 및 기계학습 워크로드를 가능하게 하는 주요 라이브러리와 프레임워크를 규명하기.
• 딥러닝과 확장 가능한 AI 응용 프로그램의 발전에 기여하는 GPU 컴퓨팅과 하드웨어 가속의 역할을 검토하기.
• 파이썬 생태계 내에서의 새로운 트렌드인 양자 기계학습과 강화학습을 탐색하기.
• 연구자와 실무자들이 최적의 기술을 선택할 수 있도록 도와주는 도구와 패러다임의 통합 비교 제공하기.

제안 방법

• 과학 계산 및 딥러닝을 위한 널리 사용되는 파이썬 라이브러리인 NumPy, PyTorch, TensorFlow, JAX를 조사하기.
• CPU 기반 워크로드에서 CPython과 PyPy와 같은 대체 구현체 간의 성능 트레이드오프 분석하기.
• C/C++ 및 CUDA로 작성된 저수준 고성능 라이브러리가 파이썬 기반 기계학습 워크로드를 어떻게 가속화하는지 평가하기.
• NCCL 및 cuDNN과 같은 라이브러리를 통한 GPU 컴퓨팅 통합을 통해 확장 가능한 딥러닝 훈련을 분석하기.
• 최근의 강화학습 및 양자 기계학습의 발전을 검토하며, TensorFlow Quantum와 PennyLane을 포함하기.
• 클라우드 인프라와 분산 컴퓨팅 프레임워크가 대규모 데이터 처리 및 모델 훈련을 가능하게 하는 데 미치는 영향 평가하기.

실험 결과

연구 질문

• RQ1 파이썬에서 고성능 기계학습을 가능하게 하는 주요 하드웨어 및 소프트웨어 구성 요소는 무엇인가요?
• RQ2 GPU 컴퓨팅과 최적화된 저수준 라이브러리가 파이썬 기반 기계학습 시스템의 확장성에 어떻게 기여합니까?
• RQ3 CPython의 성능 제약 사항은 무엇이며, PyPy와 같은 대체 구현체는 기계학습 워크로드에서 어떻게 비교되나요?
• RQ4 파이썬의 딥러닝 프레임워크 통합을 통해 강화학습은 어떻게 가속화되고 있나요?
• RQ5 양자 기계학습과 같은 신기술이 파이썬 기반 AI 연구의 미래에 어떤 역할을 합니까?

주요 결과

• 파이썬은 가독성, 광범위한 생태계, 강력한 커뮤니티 지원 덕분에 데이터 과학 및 기계학습 분야에서 여전히 지배적인 언어이다.
• GPU 컴퓨팅과 cuDNN, NCCL 등의 라이브러리는 파이썬 기반 시스템에서 딥러닝 워크로드를 가속화하는 데 핵심적인 역할을 한다.
• PyPy는 평균적으로 파이썬 코드를 최대 4배 빠르게 실행할 수 있지만, 현대 파이썬 라이브러리와의 호환성 제한으로 인해 데이터 과학 및 기계학습 분야에서의 사용이 제한된다.
• PyTorch와 TensorFlow와 같은 딥러닝 프레임워크와의 통합을 통해 강화학습은 아케이트 게임 및 스타크래프트 II와 같은 복잡한 제어 과제에서 돌파구를 만들었다.
• TensorFlow Quantum와 PennyLane과 같은 양자 기계학습 라이브러리는 연구자들이 고전적 하드웨어에서 양자 알고리즘을 프로토타ип링하고 시뮬레이션할 수 있도록 해주며, 향후 실제 양자 프로세서 지원을 예고하고 있다.
• 확장 가능한 클라우드 인프라, 고성능 라이브러리, 파이썬의 고수준 API의 조합으로 이전에는 해결하기 어려웠던 기계학습 워크플로우가 이제는 가능하고 효율적으로 구현되고 있다.