[論文レビュー] optimParallel: an R Package Providing Parallel Versions of the Gradient-Based Optimization Methods of optim()

Florian Gerber, Reinhard Furrer|arXiv (Cornell University)|Apr 30, 2018

Machine Learning and Data Classification参考文献 3被引用数 3

ひとこと要約

この論文では、Rの optim() 関数に含まれる勾配ベースの最適化手法の並列実装を提供する R パッケージ optimParallel を紹介する。R のレキシカルスコープを活用して関数評価をキャッシュ・再利用することで、目的関数と勾配の並列計算を可能にし、評価に時間がかかる関数（0.05 秒以上）に対して最適化時間を最大で 1+2p 倍短縮する。特に解析的勾配が使用される場合に顕著である。

ABSTRACT

The R package optimParallel provides a parallel version of the gradient-based optimization methods of optim(). The main function of the package is optimParallel(), which has the same usage and output as optim(). Using optimParallel() can significantly reduce optimization times. We introduce the R package and illustrate its implementation, which takes advantage of the lexical scoping mechanism of R.

研究の動機と目的

• L-BFGS-B、BFGS、CG などの勾配ベースの最適化手法を、計算負荷の高い関数に対して使用する場合に発生する長時間の最適化時間を解消すること。
• インターフェースを変更せずに、目的関数と勾配の評価を並列化できる、optim() の即座に置き換え可能な代替実装を開発すること。
• 効率的な関数評価キャッシュを活用して、並列コンピューティングリソースを効果的に活用することで、最適化時間を大幅に短縮すること。
• オリジナルの optim() 関数と同等の機能と結果を保証するとともに、ログ情報のキャプチャや前進差分による勾配近似といった新機能を追加すること。

提案手法

• パッケージは、ベース R の関数 optim() と同一のインターフェースと出力を備えたラッパー関数 optimParallel() を実装している。
• R のレキシカルスコープを用いて、目的関数（fn）と勾配（gr）の評価結果をキャッシュし、同じパラメーターベクトルが繰り返し使用されても冗長な計算を回避する。
• 各イテレーションにおいて、fn() と gr() を複数のプロセッサーコアを用いて並列に評価し、両方の評価が行われる場合、1 回のイテレーションあたりの有効な処理時間を max(T_fn, T_gr) に短縮する。
• 解析的勾配が提供されない場合、前進差分近似を用いることで、1 回のイテレーションあたりの fn() 評価回数を 1+2p 回から 1+p 回に削減する。
• 結果の同一性を保証するため、optim() の安定した C コードを再利用しており、正しさと再現性を確保している。
• 並列実行環境の管理のために、R の parallel パッケージの makeCluster および setDefaultCluster を統合している。

実験結果

リサーチクエスチョン

• RQ1 R の optim() における目的関数と勾配関数の並列評価が、計算負荷の高い関数に対して最適化時間を顕著に短縮できるか？
• RQ2 関数評価時間やパラメータ次元数の違いに応じて、optimParallel() の速度向上はオリジナルの optim() 関数と比べてどの程度か？
• RQ3 解析的勾配と数値的勾配の使用が、並列最適化アプローチにおけるパフォーマンス向上に与える影響は何か？
• RQ4 R のレキシカルスコープメカニズムを効果的に活用して、並列最適化の文脈で関数評価をキャッシュ・再利用できるか、オーバーヘッドやエラーを引き起こさないか？
• RQ5 optimParallel() の並列オーバーヘッドが正当化される最小の関数評価時間のしきい値は何か？

主な発見

• 関数評価時間が 0.05 秒を超える関数に対しては、解析的勾配が提供されている場合、optimParallel() は約 2 倍の高速化を達成する。
• 解析的勾配が提供されていない場合、パラメータ数に応じて速度向上がスケーリングされ、並列評価による 1+2p 個の目的関数呼び出しのおかげで理論的高速化率が 1+2p 倍に達する。
• optimParallel() の 1 イテレーションあたりの経過時間は、パラメータ数や勾配の指定に関係なく、常に目的関数を単体で評価する時間 T_fn に非常に近い値を示す。
• ベンチマーク結果から、optimParallel() はすべてのテストケースにおいて optim() と機能的同等性を維持しており、同一の最適化結果を生成していることが確認された。
• 前進差分近似の使用により、1 回のイテレーションあたりの fn() 評価回数が 1+2p 回から 1+p 回に削減され、利用可能なコア数が 1+2p 個未満の場合でも効率が向上する。
• 実装による計算オーバーヘッドは非常に小さく、関数評価時間が 0.05 秒を超える関数に対しては有益である。