[論文レビュー] Owl: A General-Purpose Numerical Library in OCaml

Liang Wang|arXiv (Cornell University)|Jul 30, 2017

Advanced Data Storage Technologies参考文献 10被引用数 18

ひとこと要約

Owl は、OCaml のモジュールシステムと静的型付けを活用して、簡潔で型安全なコードを実現し、競争力のあるパフォーマンスを達成する、科学計算向けの高パフォーマンスで汎用的な数値計算ライブラリである。Owl は、Python の NumPy や Julia と同等のパフォーマンスを達成しており、小さな保守可能なコードベースを維持しながら、自動微分や分散計算といった高度な機能もサポートする。

ABSTRACT

Owl is a new numerical library developed in the OCaml language. It focuses on providing a comprehensive set of high-level numerical functions so that developers can quickly build up data analytical applications. In this abstract, we will present Owl's design, core components, and its key functionality.

研究の動機と目的

• 科学的・工学的計算のための OCaml エコシステムにおいて、汎用的な数値計算ライブラリが不足している問題に対処すること。
• OCaml の強力な型システムとモジュールシステムを活用して、高水準な機能と低水準のパフォーマンスを統合したモジュラーで拡張可能なシステムを設計すること。
• Python や Julia と同等の生産性とパフォーマンスを実現しながら、コードの単純さと保守性を維持すること。
• 関数型プログラミング言語（例：OCaml）を用いて大規模な数値計算システムを構築する可能性を検証すること。
• 関数型言語で本格的な科学計算ライブラリを構築する過程で得た教訓を共有すること。

提案手法

• モジュラリティとパフォーマンスを実現するため、Base（純粋な OCaml）、Owl（C で最適化された関数）、Zoo（コード共有）からなるレイヤードアーキテクチャを設計すること。
• OCaml のモジュールシステムを活用して、自動微分や並列／分散計算をサポートする汎用的で高性能なコードを記述すること。
• BLAS や LAPACK 操作に効率的な C バインディングを備えた n 次元配列（Ndarray）などのコアデータ構造を実装すること。
• 静的型チェックを活用してランタイムエラーを低減し、開発サイクルを加速すること。
• ディープラーニング、NLP、プロットツールといった高度な機能を、合成可能なサービス層に統合すること。
• 標準的な数値演算およびディープラーニングベンチマークを用いて、NumPy、Julia、TensorFlow と比較してパフォーマンスを評価すること。

実験結果

リサーチクエスチョン

• RQ1 Python や Julia といった主流の言語と同等のパフォーマンスを達成できるように、OCaml で汎用的な数値計算ライブラリを効果的に構築できるか？
• RQ2 OCaml のモジュールシステムと静的型付けをどのように活用すれば、スケーラブルで保守可能で高性能な数値計算システムを設計できるか？
• RQ3 関数型プログラミングの原則は、ディープラーニング や自動微分といった複雑な数値ワークロードをどれだけサポートできるか？
• RQ4 関数型言語で本格的な科学計算ライブラリを構築するにあたり、主なソフトウェア工学的課題とパフォーマンス最適化の課題は何か？
• RQ5 Owl のアーキテクチャは、数値計算においてどのようにして高い生産性と高いパフォーマンスを両立させているか？

主な発見

• Owl は、ほとんどの数値演算において NumPy や Julia と同等のパフォーマンスを達成しており、特に map、sum、cumsum などの演算ではそれらを上回る性能を示している。
• 行列の逆行列計算（inv）において、Owl は Lapack(e) の効率的な統合により TensorFlow よりも顕著に優れたパフォーマンスを発揮するが、TensorFlow のネイティブ C++ 実装は遅い。
• ディープラーニング推論において、Owl は Inception および VGG16 ネットワークで Caffe2 や TensorFlow を上回るパフォーマンスを示しており、複雑なモデルでも強力な性能を発揮している。
• Owl のイテレーション関数（iter）は、Julia や Scipy よりも顕著に高速であり、TensorFlow と同等の性能を発揮している。これは、OCaml の効率的なランタイムのおかげである。
• ライブラリの小さなコードベース（少数のチームで管理可能）とモジュラー設計のおかげで、パフォーマンスを犠牲にすることなく長期的な保守性が確保されている。
• OCaml の静的型付けとモジュールシステムのおかげでバグが減少し、開発が加速し、数値アプリケーションの迅速なプロトタイピングを支援している。