[論文レビュー] Confederated Modular Differential Equation APIs for Accelerated Algorithm Development and Benchmarking

Christopher Rackauckas, Qing Nie|arXiv (Cornell University)|Jul 17, 2018

Advanced Data Storage Technologies参考文献 3被引用数 3

ひとこと要約

この論文は、微分方程式の数値解法のための多様なスチールャーをシームレスに統合・ベンチマーク・比較可能にする、DifferentialEquations.jl の連邦的モジュラーAPIを紹介する。Juliaの多重ディスpatchと多アルゴリズム的アプローチを活用することで、研究者が理論的進展を実世界の応用で実証可能となり、エンドユーザーは最適なスチールャーを自動的に選択できるようになり、科学的分野全体におけるアルゴリズム開発の加速とパフォーマンス向上が著しく促進される。

ABSTRACT

Performant numerical solving of differential equations is required for large-scale scientific modeling. In this manuscript we focus on two questions: (1) how can researchers empirically verify theoretical advances and consistently compare methods in production software settings and (2) how can users (scientific domain experts) keep up with the state-of-the-art methods to select those which are most appropriate? Here we describe how the confederated modular API of DifferentialEquations.jl addresses these concerns. We detail the package-free API which allows numerical methods researchers to readily utilize and benchmark any compatible method directly in full-scale scientific applications. In addition, we describe how the complexity of the method choices is abstracted via a polyalgorithm. We show how scientific tooling built on top of DifferentialEquations.jl, such as packages for dynamical systems quantification and quantum optics simulation, both benefit from this structure and provide themselves as convenient benchmarking tools.

研究の動機と目的

• 実世界の科学的応用における数値スチールャーの理論的進展の実証的検証の課題に対処する。
• 複数の言語や実装をまたいで、多様な微分方程式スチールャーの一貫性があり生産的品質のベンチマークを可能にする。
• ドメイン科学者に対して、タイプ階層に基づく多アルゴリズムを用いた自動アルゴリズム特化により、スチールャー選択の複雑さを抽象化する。
• 研究者が統一的でパッケージに依存しないAPIを通じて、新しいスチールャーの迅速な採用と貢献を可能にする。
• 下流のパッケージに標準的で組み合わせ可能な基盤を提供することで、高性能な科学的ツールキットの開発を支援する。

提案手法

• 問題の種別とスチールャーのアルゴリズムを分離するため、Juliaの多重ディスパッチシステムを用いた連邦的モジュラーAPIを実装する。
• DiffEqBase.jl に共通のAPIを定義し、入力の型に応じて特殊化されたスチールャー・パッケージにディスpatchするスタブ関数 solve を提供する。
• 型ベースのディスパッチを用いて、問題構造（例：ODE、SDE、DAE）を分類する多アルゴリズムにより、最適なスチールャーの自動選択を可能にする。
• C++（SUNDIALS）およびFortran（Hairerのdop853）からのレガシースチールャーを、同じインターフェースに統合し、公平なベンチマークを実現する。
• 10−14の許容誤差を用いて、実世界の応用と参照解を用いたオープンで再現可能なベンチマークを開発し、作業精度トレードオフを測定する。
• 同一のハードウェア上で実行することで、言語間のパフォーマンス比較を可能にし、性能格差（例：JuliaはPython、MATLAB、RのdeSolveと比較して10–100倍速い）を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 研究者が異なるプログラミング言語や実装をまたいで、実世界の科学的応用において数値スチールャーを一貫してベンチマークおよび比較するにはどうすればよいか？
• RQ2 微分方程式のスチールャー選定に深い数値解析の知識がなくても、エンドユーザーが問題に最も効率的なスチールャーを信頼できる方法で選択するにはどうすればよいか？
• RQ3 モジュラーで連邦的なAPIは、科学計算における新しい数値手法の採用と評価をどの程度加速できるか？
• RQ4 C++ やFortranといった成熟した静的型付け言語に比べ、Juliaネイティブ実装が微分方程式の解法においてどのようなパフォーマンス優位性を提供するか？
• RQ5 多アルゴリズムによる自動アルゴリズム選択は、ユーザーが専門知識を必要としないまま、スチールャーの選択をどのように改善できるか？

主な発見

• 連邦的モジュラーAPIにより、レガシースチールャー（C++やFortranコードを含む）を含め、数百のスチールャーを同じハイレベルインターフェース内で直接ベンチマーク可能となり、公平かつ一貫性のある比較が保証される。
• ベンチマーク結果では、Juliaの実装が、Numba加速を伴うPython（SciPy）、MATLAB、RのdeSolveと比較して、一般的に10–100倍速いことが示された。
• 同じメソッドファミリー（例：BDF、ローゼンブロック、ESDIRK）内では、パフォーマンス差は一般に1桁の範囲に収まるが、メソッドファミリー間の差ははるかに顕著である。
• ベンチマークの結果が開発優先順位に直接影響を与え、例えばOrdinaryDiffEq.jlにおける自動ステッフネス検出と切り替えの実装を促すGoogle Summer of Codeプロジェクトを誘発した。
• ベンチマークからの観察が、確率的積分器の特定の改善を促し、高次ルンゲ・クッタ法における係数最適化の重要性を浮き彫りにした。
• オープンなベンチマークフレームワークは、JuliaDiffEqの開発を導く重要なツールとなり、新規ユーザーが既存のツールキットから移行するかどうかを評価するのを支援している。