[논문 리뷰] Fashionable Modelling with Flux

Michael Innes, Elliot Saba외 7명|arXiv (Cornell University)|2018. 11. 01.

Computer Graphics and Visualization Techniques참고 문헌 21인용 수 135

한 줄 요약

Flux는 간결함, 해커성, 컴파일러 기반 가속을 강조하는 differentiable 프로그래밍용 Julia 기반 프레임워크로, 유연한 모델과 가속기와의 쉬운 통합을 가능하게 한다.

ABSTRACT

Machine learning as a discipline has seen an incredible surge of interest in recent years due in large part to a perfect storm of new theory, superior tooling, renewed interest in its capabilities. We present in this paper a framework named Flux that shows how further refinement of the core ideas of machine learning, built upon the foundation of the Julia programming language, can yield an environment that is simple, easily modifiable, and performant. We detail the fundamental principles of Flux as a framework for differentiable programming, give examples of models that are implemented within Flux to display many of the language and framework-level features that contribute to its ease of use and high productivity, display internal compiler techniques used to enable the acceleration and performance that lies at the heart of Flux, and finally give an overview of the larger ecosystem that Flux fits inside of.

연구 동기 및 목표

• programmable ML 프레임워크를 동작시키는 목표로, 모델을 고수준 언어로 표현된 differentiable 알고리즘으로 취급한다.
• Flux의 디자인 선택을 보여 주어 Julia에서 간단하고 확장 가능한 모델 구성이 가능하게 한다.
• GPU, TPU 및 배포를 위한 컴파일러 기반의 성능 특징을 보여준다.
• Flux가 Julia 생태계와 어떻게 연계되어 새로운 ML 워크플로우를 가능하게 하는지 강조한다.

제안 방법

• Flux를 Julia로 빌드된 간결하고 고수준의 ML 스택으로 제시한다.
• 세 가지 축: 단순성, 해커성, 컴파일러 기술을 설명한다.
• Zygote 소스-투-소스 자동 미분기와 LLVM 기반 최적화 파이프라인을 설명한다.
• Flux가 컴파일러 인프라를 통해 GPU/TPU 컴파일 및 자동 배치를 가능하게 하는 방법을 보여준다.
• Discriminative Adversarial Networks와 같은 예시를 통해 유연한 학습 패러다임을 보여준다.
• 최적화, 미분방정식, 확률 프로그래밍 등 다른 Julia 패키지들과의 상호 운용성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 Flux가 전통적 프레임워크와 비교할 때 ML 모델 구현에서 어떻게 단순성을 달성하는가?
• RQ2 커스텀 레이어, 그래디언트, 학습 루프를 허용하면서도 성능을 희생하지 않고 Hackability를 어떻게 가능하게 하는가?
• RQ3 GPU와 TPU에서 Flux 모델을 가속하고 동적 언어에서 정적 유사 최적화를 가능하게 하는 어떤 컴파일러 기법이 사용되는가?
• RQ4 Flux가 Julia 생태계(AD, 미분방정식, 최적화) 내 differentiable programming 워크플로우를 어떻게 활용하는가?
• RQ5 Flux의 유연성을 보여주는 구체적인 모델 패러다임(예: Discriminative Adversarial Networks)은 무엇인가?

주요 결과

• Flux는 코어 기능에 대해 천 줄 분량의 Julia 코드로 고생산성을 달성한다.
• Flux는 단일 모델에서 내장된 레이어와 사용자 정의 레이어/알고리즘을 제어 흐름과 함께 혼합하는 것을 지원한다.
• Zygote 컴파일러 기반 AD 접근 방식은 LLVM 최적화를 가진 언어 차원의 미분을 가능하게 한다.
• Flux는 Julia 코드를 GPU와 TPU로 컴파일하는 것을 가능하게 하며, 학습 루프 전체를 TPU용 XLA로 컴파일하는 것도 포함한다.
• 자동 배치는 컴파일러에서 영감을 받은 SPMD 변환을 통해 가변적으로 구조화된 입력에 대해 확장 가능한 배치를 가능하게 한다.
• Flux는 GPU 배열 및 다른 Julia 패키지와 함께 작동하는 간결한 통합 계층을 제공하여 응집된 ML 생태계를 만든다.