[論文レビュー] The Stan Math Library: Reverse-Mode Automatic Differentiation in C++

Bob Carpenter, Matthew D. Hoffman+4 more|arXiv (Cornell University)|Sep 23, 2015

Simulation Techniques and Applications参考文献 1被引用数 70

ひとこと要約

Stan Mathライブラリは、統計的モデリングおよび最適化における勾配の効率的・正確・スケーラブルな計算を可能にするC++の逆モード自動微分（AD）ライブラリである。表現テンプレート、遅延評価、カスタムメモリ管理を活用することで、多様な計算ワークロードにおいて、他のADライブラリを上回る速度とメモリ使用量の性能を達成している。

ABSTRACT

As computational challenges in optimization and statistical inference grow ever harder, algorithms that utilize derivatives are becoming increasingly more important. The implementation of the derivatives that make these algorithms so powerful, however, is a substantial user burden and the practicality of these algorithms depends critically on tools like automatic differentiation that remove the implementation burden entirely. The Stan Math Library is a C++, reverse-mode automatic differentiation library designed to be usable, extensive and extensible, efficient, scalable, stable, portable, and redistributable in order to facilitate the construction and utilization of such algorithms. Usability is achieved through a simple direct interface and a cleanly abstracted functional interface. The extensive built-in library includes functions for matrix operations, linear algebra, differential equation solving, and most common probability functions. Extensibility derives from a straightforward object-oriented framework for expressions, allowing users to easily create custom functions. Efficiency is achieved through a combination of custom memory management, subexpression caching, traits-based metaprogramming, and expression templates. Partial derivatives for compound functions are evaluated lazily for improved scalability. Stability is achieved by taking care with arithmetic precision in algebraic expressions and providing stable, compound functions where possible. For portability, the library is standards-compliant C++ (03) and has been tested for all major compilers for Windows, Mac OS X, and Linux.

研究の動機と目的

• 高度な統計的推論および最適化を支援する、スケーラブルで効率的かつユーザーフレンドリーなC++の逆モード自動微分ライブラリの開発。
• 自動微分による勾配計算の自動化により、複雑なアルゴリズムにおける導関数の実装負荷を軽減すること。
• 特に確率的および統計的関数において、導関数計算の数値的安定性と精度を保証すること。
• カスタム関数拡張および多様な科学的アプリケーションへの統合を可能にする、ポータブルで標準準拠かつ拡張可能なフレームワークを提供すること。
• さまざまな式の種別とワークロードにおいて、既存のオープンソースADライブラリと比較して優れた性能をベンチマークし、実証すること。

提案手法

• 表現テンプレートと特徴に基づくメタプログラミングを用いて、導関数計算の効率的でコンパイル時最適化を実現する。
• 合成式における偏微分の遅延評価を採用することで、スケーラビリティを向上させ、重複計算を削減する。
• 部分式キャッシュとカスタムメモリ管理を適用することで、実行時オーバーヘッドを低減し、パフォーマンスを向上させる。
• ユーザーがカスタム関数や演算を追加できる、洗練されたオブジェクト指向の式フレームワークを実装する。
• 逆モードADとアドジョイント伝播を採用：出力でアドジョイントを1に初期化し、合成関数の微分法則に従って後退的に伝播する。
• 直接的なC++式インターフェースと関数的抽象化レイヤーの二重インターフェースを提供することで、使いやすさとモジュラリティを両立する。

実験結果

リサーチクエスチョン

• RQ1 複雑な統計的モデリングに適した、効率的かつユーザーフレンドリーなC++の逆モード自動微分ライブラリは、どのように設計できるか？
• RQ2 Adept、Adol-C、CppAD、Sacadoなどの既存のオープンソースADシステムと比較して、Stan Mathライブラリはどのようなパフォーマンス優位性を示すか？
• RQ3 表現テンプレートと遅延評価の使用は、勾配計算におけるスケーラビリティとメモリ効率をどのように向上させるか？
• RQ4 確率的関数の導関数計算において、ライブラリは数値的安定性と精度をどの程度維持できるか？
• RQ5 複数のプラットフォームとコンパイラに対応して、ポータブルで拡張可能かつ本番環境で利用可能な状態にできるか？

主な発見

• Stan Mathライブラリは、Adept、Adol-C、CppAD、Sacadoなどの競合ADライブラリと比較して、勾配計算において顕著なパフォーマンス向上を達成しており、式の種別に応じて速度とメモリ使用量に差が生じるが、全体として優れている。
• 表現テンプレートと遅延評価により、重複計算が削減され、特に複雑な合成式においてスケーラビリティが向上する。
• カスタムメモリ管理と部分式キャッシュの導入により、標準ADライブラリと比較して実行時オーバーヘッドが低減され、メモリ効率が向上する。
• 正確な算術精度の取り扱いや安定した合成関数の使用により、数値的安定性が高く保証されている。
• Windows、Mac OS X、Linuxの各プラットフォームでポータブルに動作し、すべての主要なC++コンパイラと互換性があるため、広範な利用が可能である。
• 関数的インターフェースと直接的なC++インターフェースの両方が、使いやすさとパフォーマンスのバランスを図っており、インタラクティブ利用とハイパフォーマンスな本番コード両方を可能にしている。