[論文レビュー] DeepDSL: A Compilation-based Domain-Specific Language for Deep Learning

Tian Zhao, Xiao Bing Huang+1 more|arXiv (Cornell University)|Jan 9, 2017

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

DeepDSL は、2段階の最適化パイプラインを介して、効率的でポータブルかつカスタマイズ可能な Java ソースコードに深層ニューラルネットワークをコンパイルする、Scala に埋め込まれたドメイン固有言語（DSL）である。この手法により、記号的勾配導出、静的メモリ解析、および JNI を通じた CUDA ターゲティングのコード生成が可能となり、Caffe や TensorFlow と比較して、特に GPU メモリ制約下において競争力のある実行時間性能と優れたメモリ効率を達成した。

ABSTRACT

In recent years, Deep Learning (DL) has found great success in domains such as multimedia understanding. However, the complex nature of multimedia data makes it difficult to develop DL-based software. The state-of-the art tools, such as Caffe, TensorFlow, Torch7, and CNTK, while are successful in their applicable domains, are programming libraries with fixed user interface, internal representation, and execution environment. This makes it difficult to implement portable and customized DL applications. In this paper, we present DeepDSL, a domain specific language (DSL) embedded in Scala, that compiles deep networks written in DeepDSL to Java source code. Deep DSL provides (1) intuitive constructs to support compact encoding of deep networks; (2) symbolic gradient derivation of the networks; (3) static analysis for memory consumption and error detection; and (4) DSL-level optimization to improve memory and runtime efficiency. DeepDSL programs are compiled into compact, efficient, customizable, and portable Java source code, which operates the CUDA and CUDNN interfaces running on Nvidia GPU via a Java Native Interface (JNI) library. We evaluated DeepDSL with a number of popular DL networks. Our experiments show that the compiled programs have very competitive runtime performance and memory efficiency compared to the existing libraries.

研究の動機と目的

• 既存の深層学習ライブラリの制限を解決する。これらはインターフェース、表現、実行環境が固定されており、ポータビリティとカスタマイズ性を制限する。
• 開発者が強型付けされた言語（Scala）で高レベルのテンソル関数として深層ネットワークを定義できるようにする。これにより、コードの安全性と保守性が向上する。
• 実行時エラー（例：メモリ不足例外）を防ぐために、エラー検出とメモリ消費量の推定を早期に実行する静的解析を提供する。
• あらゆる CUDA をサポートするプラットフォームで実行可能な、コンパactで人間が読みやすい、カスタマイズ可能な Java ソースコードを生成する。
• 静的スケジューリングによるテンソルの解放とランタイム最適化を通じて、同じ GPU で Caffe や TensorFlow よりも大きなバッチサイズを実現する、メモリ効率の向上を図る。

提案手法

• Scala に深層学習の構成要素をドメイン固有の抽象化として埋め込み、テンソルをインデックス化されたスカラ式として表現することで、DSL 層での計算を露呈する。
• テンソル関数に対して記号的勾配導出を実施し、実行時オーバーヘッドなしにバックプロパゲーションの論理を自動生成する。
• 2段階の最適化を適用する：まず式レベル（単純化、ループのマージ、コードムーブ、ベクトル化）、次に静的単一代入（SSA）形式への変換により、共通部分式の削除とインライン展開を実施する。
• 1パスの文字列ベースのコードジェネレータを用いて、読みやすくモジュール化された、DSL 式とは独立した Java ソースコードを生成する。
• JCuda を統合して JNI を介して CUDA カーネルを呼び出し、JVM を通じたプラットフォーム非依存性を維持しつつ GPU 加速を実現する。
• 実行時メモリ使用量を各レイヤーごとに予測し、ピークメモリ消費量を最小限に抑えるために、テンソルの解放を再スケジューリングする静的メモリ解析を実装する。

実験結果

リサーチクエスチョン

• RQ1 一般言語（例：Scala）に埋め込まれたドメイン固有言語が、完全なカスタマイズ性を備えつつ、深層学習において競争力のある性能とメモリ効率を達成できるか。
• RQ2 深層学習 DSL において、コンパイル前段階での設計エラー検出とメモリ消費量推定のための静的解析は、どの程度効果的か。
• RQ3 2段階の最適化パイプラインは、既存の深層学習ライブラリと比較して、メモリ効率と実行時間性能をどの程度向上できるか。
• RQ4 コンパイルベースの DSL は、異なるプラットフォームで効率的に実行可能な、ポータブルで人間が読みやすくカスタマイズ可能な Java コードを生成できるか。
• RQ5 最適化とコード生成の分離は、深層学習 DSL の拡張性と保守性をどのように向上させるか。

主な発見

• DeepDSL が生成する Java コードは、競争力のある実行時間性能とメモリ効率を達成しており、特にメモリ制約下では Caffe や TensorFlow を上回った。
• DeepDSL の静的メモリ解析は、メモリ使用量を予測・最適化することで、メモリ不足エラーを効果的に防止し、1 つの GPU でバッチサイズ 64 の ResNet 学習を可能にした。Caffe や TensorFlow では同様の条件で失敗していた。
• 2段階の最適化パイプライン（式レベルの単純化と SSA を用いた最適化）により、効果的なコードムーブ、共通部分式の削除、インライン展開が実現され、メモリ効率と実行時間性能の両方が向上した。
• 生成された Java コードはコンパクトで人間が読みやすく、標準的な IDE やテキストエディタを用いて開発者が容易に変更・拡張可能である。
• DSL 式の操作とコード生成の分離により、最適化手法とターゲット言語バックエンドが独立して進化でき、保守性と拡張性が向上した。
• 複雑なネットワーク（例：ResNet）のコンパイル時間は数分に及ぶが、生成されたコードは高度に最適化されており、デプロイやさらなるチューニングに適している。