[論文レビュー] Acceleration of Non-Linear Minimisation with PyTorch

Bojan Nikolic|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks参考文献 9被引用数 3

ひとこと要約

この論文は、自動微分とGPUアクセラレーションを活用することで、PyTorchが科学的計算における非線形関数最小化を高速化できることを示している。コード変更を最小限に抑え、従来のNumPy実装と比較して最大100倍の高速化を達成した。このアプローチは、PyTorchの自動微分とGPUオフロードを活用して勾配を効率的に計算し、複雑な関数を評価することで、最大尤度位相再構成のような最適化問題における収束を迅速化する。

ABSTRACT

I show that a software framework intended primarily for training of neural networks, PyTorch, is easily applied to a general function minimisation problem in science. The qualities of PyTorch of ease-of-use and very high efficiency are found to be applicable in this domain and lead to two orders of magnitude improvement in time-to-solution with very small software engineering effort.

研究の動機と目的

• PyTorchがニューラルネットワーク学習のために設計されたものであるが、一般の科学的関数最小化問題に対しても効果的に応用可能であることを示すこと。
• PyTorchの自動微分とGPUアクセラレーションを活用することで、非線形最小化問題の時間的解決までの所要時間を短縮すること。
• 従来のNumPyベースの実装と比較して、ソフトウェア工学的作業を最小限に抑えても顕著な性能向上を達成できることを示すこと。
• 科学的最適化タスクにおける計算効率を著しく向上させながらも、コードの可読性と正しさを維持すること。

提案手法

• 複雑な関数の勾配を手動で導出したり数値近似を使わずに、PyTorchの自動逆伝播微分を用いて計算すること。
• PyTorchテンソルを用いて科学的関数を実装し、NumPyへの変更を最小限に抑えつつ、CPUおよびGPU実行をスムーズに行えるようにすること。
• PyTorchのCUDAサポートを活用して、NVIDIA Tesla K20c GPUにテンソル演算をオフロードし、データ並列計算を加速すること。
• PyTorchの自動勾配計算により有効化される、jac=Trueフラグを備えた標準的な最適化アルゴリズム（例：BFGS）の採用。
• 高レベルのテンソル演算を用いて、Zernike多項式に基づく位相再構成などの複雑な科学的モデルを簡潔かつ読みやすい形で表現すること。
• グリッドサイズやモデルパrameter数の変化に応じて、PyTorchとNumPyの実装をベンチマークし、性能向上を測定すること。

実験結果

リサーチクエスチョン

• RQ1 PyTorchの自動微分とGPUアクセラレーションは、ニューラルネットワークを超えた一般の科学的関数最小化問題に対しても効果的に再利用可能か？
• RQ2 従来のNumPyベースのアプローチと比較して、PyTorchは非線形最小化問題における時間的解決までの所要時間をどの程度短縮できるか？
• RQ3 科学的最適化タスクにおいて、モデルの複雑さやデータサイズの増加に伴い、PyTorchの性能向上はスケーリングするか？
• RQ4 PyTorchは、科学的計算において高い計算性能を提供する一方で、コードの可読性と保守性を維持できるか？

主な発見

• 位相再構成問題において、CPUオンリーのNumPy実装と比較して、PyTorchは最大100倍の時間的解決までの所要時間の短縮を達成した。
• グリッドサイズN ≥ 256の場合、GPUオフロードされたPyTorch実装は、CPUオンリーのPyTorchバージョンよりも約10倍速かった。
• 中程度および大規模なグリッドサイズにおいて、CPUオンリーのPyTorch実装は、NumPy実装よりも約10倍速かった。
• Zernike多項式の次数n=8まで測定したが、モデルパrameter数の増加に伴う性能向上はほとんど影響を受けていなかった。
• すべての実装がアルゴリズム的許容誤差内において同一の解に収束したため、性能向上にもかかわらず正しさが保証された。
• PyTorch実装は、NumPyと同等の可読性と保守性を維持しており、科学的モデルにおける微細な誤りのリスクを低減した。