[論文レビュー] Fashionable Modelling with Flux

Michael Innes, Elliot Saba+7 more|arXiv (Cornell University)|Nov 1, 2018

Computer Graphics and Visualization Techniques参考文献 21被引用数 135

ひとこと要約

Flux は、シンプルさ、ハック性、コンパイラ主導の加速を強調する Julia ベースの微分可能プログラミングフレームワークで、柔軟なモデルとアクセラレータへの容易な統合を可能にします。

ABSTRACT

Machine learning as a discipline has seen an incredible surge of interest in recent years due in large part to a perfect storm of new theory, superior tooling, renewed interest in its capabilities. We present in this paper a framework named Flux that shows how further refinement of the core ideas of machine learning, built upon the foundation of the Julia programming language, can yield an environment that is simple, easily modifiable, and performant. We detail the fundamental principles of Flux as a framework for differentiable programming, give examples of models that are implemented within Flux to display many of the language and framework-level features that contribute to its ease of use and high productivity, display internal compiler techniques used to enable the acceleration and performance that lies at the heart of Flux, and finally give an overview of the larger ecosystem that Flux fits inside of.

研究の動機と目的

• モデルを高レベル言語で表現された微分可能なアルゴリズムとして扱う、プログラム可能な ML フレームワークを動機づける。
• Julia で簡潔で拡張性のあるモデル構築を実現する Flux の設計選択を示す。
• GPU、TPU、デプロイメント向けのコンパイラ有効化によるパフォーマンス機能を紹介する。
• Flux がより広い Julia エコシステムとどのように統合し、新しい ML ワークフローを可能にするかを強調する。

提案手法

• Flux を Julia で構築されたシンプルでハイレベルな ML スタックとして提示する。
• 3 つの柱：シンプルさ、ハック性、そしてコンパイラ技術を説明する。
• Zygote の source-to-source 自動微分器と LLVM に基づく最適化パイプラインを説明する。
• Flux がコンパイラ基盤を通じて GPU/TPU へのコンパイルと自動バッチ処理を可能にする方法を示す。
• Discriminative Adversarial Networks のような例を提供して、柔軟なトレーニングパラダイムを示す。
• 最適化、微分方程式、確率的プログラミングのための他の Julia パッケージとの相互運用性について論じる。

実験結果

リサーチクエスチョン

• RQ1 Flux は従来のフレームワークと比較して、ML モデルの実装におけるシンプルさをどのように実現しているか？
• RQ2 Flux がカスタムレイヤー、勾配、トレーニングループを許容して、パフォーマンスを犠牲にすることなくハック性を実現する方法は？
• RQ3 GPU および TPU で Flux モデルを加速し、動的言語で静的に近い最適化を可能にするために、どのようなコンパイラ技術が用いられているか？
• RQ4 Differentiable programming ワークフローの中で、 Julia エコシステム（AD、微分方程式、最適化）を Flux がどのように活用できるか？
• RQ5 Flux の柔軟性を示す具体的なモデルパラダイムは何か（例: Discriminative Adversarial Networks）？

主な発見

• Flux はコア機能の実装において Julia コードが千行程度に達し、開発者の生産性を高めている。
• Flux は単一のモデル内で、組み込みレイヤーとユーザー定義レイヤー・アルゴリズムを制御フローと混在させることをサポートする。
• Zygote コンパイラ主導の AD アプローチは、LLVM 最適化を用いた言語レベルの微分を可能にする。
• Flux は Julia コードを GPU や TPU にコンパイルすることを可能にし、TPU 向けにはトレーニングループ全体を XLA にコンパイルすることも含む。
• Automatic batching via a compiler-inspired SPMD transform allows scalable batching for variably-structured inputs.
• Flux は GPU 配列や他の Julia パッケージと連携するリーンな統合レイヤを提供し、一貫した ML エコシステムを形成する。