[論文レビュー] DiffSharp: An AD Library for .NET Languages

Atılım Güneş Baydin, Barak A. Pearlmutter+2 more|arXiv (Cornell University)|Nov 10, 2016

Parallel Computing and Optimization Techniques参考文献 6被引用数 11

ひとこと要約

DiffSharp は .NET 言語向けの高パフォーマンスで機能型プログラミングに基づく自動微分（AD）ライブラリであり、F# で実装され、機械学習ワークロードを対象としています。ネストされた高階関数型 API を備え、前向きモードと後ろ向きモードの両方の AD を提供し、効率的な BLAS/LAPACK ベースの線形代数を備えており、演算子オーバーローディングによる拡張性と、将来のソース変換および GPU ベンダーバックエンドの計画を備えています。

ABSTRACT

DiffSharp is an algorithmic differentiation or automatic differentiation (AD) library for the .NET ecosystem, which is targeted by the C# and F# languages, among others. The library has been designed with machine learning applications in mind, allowing very succinct implementations of models and optimization routines. DiffSharp is implemented in F# and exposes forward and reverse AD operators as general nestable higher-order functions, usable by any .NET language. It provides high-performance linear algebra primitives---scalars, vectors, and matrices, with a generalization to tensors underway---that are fully supported by all the AD operators, and which use a BLAS/LAPACK backend via the highly optimized OpenBLAS library. DiffSharp currently uses operator overloading, but we are developing a transformation-based version of the library using F#'s "code quotation" metaprogramming facility. Work on a CUDA-based GPU backend is also underway.

研究の動機と目的

• .NET エコシステム、特に機械学習応用を想定して、高パフォーマンスで合成可能な AD ライブラリを提供すること。
• アルゴリズム微分を F# や C# などの機能型および命令型 .NET 言語にシームレスに統合できること。
• 前向きモードと後ろ向きモードの両方を用いて、勾配、ヤコビアン、ヘッセ行列の効率的計算を可能にすること。
• 将来の GPU およびテンソル拡張をサポートするモジュラーで拡張可能な AD インfraストラクチャの開発

提案手法

• F# における高階関数型プログラミングを活用し、AD を一等級の、合成可能な関数として公開する。
• ベクトルと行列のためのアレイ構造表現を採用することで、BLAS/LAPACK ベンダーバックエンドを介した効率的なベクトル化 AD を実現する。
• jacobianTv'' や hessian などのカリー化可能でネスト可能な演算子を用いて、前向きモードと後ろ向きモードの AD を実装し、モジュラーな導出計算を可能にする。
• 即時の使いやすさを実現するための演算子オーバーローディングをサポートするが、将来的には F# コードクォーテーションを用いたソース変換への移行を計画している。
• 最適化されたバックエンドとの統合を可能にするバックエンド抽象化を提供し、OpenBLAS や開発中の CUDA ベースのバックエンドを含む。
• ネストされた AD 操作における摂動の混同を回避するため、値タグ付けを用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして .NET 言語において、合成可能で機能型の API として効果的かつ効率的にアルゴリズム微分を公開できるか？
• RQ2 特に摂動の混同の存在下で、ネストされた AD 計算におけるパフォーマンスと正しさの保証はどの程度達成できるか？
• RQ3 最適化された線形代数バックエンドとベクトル化演算を用いることで、AD のパフォーマンスはどの程度向上できるか？
• RQ4 機能的で高階関数型の AD ライブラリは、機能型および命令型の両方の .NET 言語において、使いやすさとパフォーマンスの両立を達成できるか？
• RQ5 AD インfraストラクチャは、ディープラーニングや GPU 加速を含む現代の機械学習ワークロードをサポートするように、どのように拡張できるか？

主な発見

• DiffSharp は、ネストされた導出計算における摂動の混同を値タグ付けによって回避する正しく、高パフォーマンスな AD 実装を提供している。
• ベクトルと行列のためのアレイ構造表現により、AD のベクトル化が効率的に行えるようになり、パフォーマンスは外部の BLAS/LAPACK 呼び出しに支配される。
• カリー化と AD 演算子のネストをサポートする機能的で高階関数型の API により、高い使いやすさとモジュラリティを実現している。
• ベンチマーク結果から、AD のランタイムオーバーヘッドが低く抑えられており、パフォーマンスは OpenBLAS などの最適化バックエンドに大きく依存している。
• 将来的に F# コードクォーテーションを用いたソース変換への移行が予想され、パフォーマンスのさらなる向上と API の簡素化が期待できる。
• CUDA および cuDNN を用いた GPU ベンダーバックエンド開発は進行中であり、GPU 上での高パフォーマンスなディープラーニングワークロードの実現を目的としている。