[論文レビュー] Robust and Efficient Optimization Using a Marquardt-Levenberg Algorithm with R Package marqLevAlg

Philipps, Viviane, Hejblum, Boris P+3 more|arXiv (Cornell University)|Sep 8, 2020

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

この論文では、マーラーディット・レヴェンバーグ法に基づく、厳密な収束基準と並列な導出計算を備えた、強固で効率的な局所最適化アルゴリズムを実装したRパッケージmarqLevAlgを提示する。複雑な統計モデルにおいて、誤った収束を防ぎ、特に高次元または評価に時間がかかる設定では計算時間を著しく短縮する。

ABSTRACT

Implementations in R of classical general-purpose algorithms for local optimization generally have two major limitations which cause difficulties in applications to complex problems: too loose convergence criteria and too long calculation time. By relying on a Marquardt-Levenberg algorithm (MLA), a Newton-like method particularly robust for solving local optimization problems, we provide with marqLevAlg package an efficient and general-purpose local optimizer which (i) prevents convergence to saddle points by using a stringent convergence criterion based on the relative distance to minimum/maximum in addition to the stability of the parameters and of the objective function; and (ii) reduces the computation time in complex settings by allowing parallel calculations at each iteration. We demonstrate through a variety of cases from the literature that our implementation reliably and consistently reaches the optimum (even when other optimizers fail), and also largely reduces computational time in complex settings through the example of maximum likelihood estimation of different sophisticated statistical models.

研究の動機と目的

• 既存のR最適化パッケージの限界、例えば緩い収束基準や複雑なモデルにおける長時間の計算時間を是正すること。
• 1次および2次微分に基づく厳密な収束基準を用いることで、停留在点への収束を防ぎ、局所最適解の特定の信頼性を向上させること。
• 各反復で勾配およびヘッセ行列の並列計算を可能にすることで、高次元または計算コストの高い最適化問題における計算時間を短縮すること。
• BFGS、L-BFGS-B、EMなどの標準的最適化手法の一般用途で代替可能な、強固で効率的な代替手段を提供すること。
• 実世界の統計応用、特に連合モデルや混合効果モデルにおいて、強化された収束基準と並列化を備えたマーラーディット・レヴェンバーグ法の優位性を実証すること。

提案手法

• 曲率に基づく動的調整によるヘッセ行列のインflationを用いて、最急降下法とニュートン・ラプソン法を統合した修正されたマーラーディット・レヴェンバーグ法を実装する。
• 洗練されたヘッセ行列の対角成分インフレーションを採用：˜H(F(θ(k)))ii = H(F(θ(k)))ii + λk[(1 − ηk)|H(F(θ(k)))ii| + ηk·tr(H(F(θ(k})))], これにより正定値性が保証され、真のヘッセ行列への収束が促進される。
• 3基準収束テストを適用：パrameterの安定性、目的関数の安定性、および相対的最小距離（RDM）基準（∇(F)ᵀ(H⁻¹)∇(F)/m < ϵd）を定義する。
• 複数コアを用いた1次および2次微分の並列計算を可能にし、高次元問題における評価速度を向上させる。
• 性能が重要なコンponentsにRおよびFortran90を用い、Rパッケージとして統合。非制約および制約付きパrameter空間の両方をサポートする。
• 最尤推定を用いて、線形混合モデル、連合モデル、潜在変数モデルなどの複雑なモデルを最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 厳密な収束基準を備えたマーラーディット・レヴェンバーグ法は、複雑な最適化問題において、平坦領域や停留在点への誤った収束を防げるか？
• RQ2 高次元または計算コストの高い最適化タスクにおいて、微分の並列計算が実行時間性能にどの程度寄与するか？
• RQ3 複雑な統計モデルにおいて、BFGS、L-BFGS-B、EMなどの標準的R最適化手法と比較して、marqLevAlgパッケージの収束信頼性と速度はどのように異なるか？
• RQ4 多峰性最適化問題において、marqLevAlgとグリッドサーチの組み合わせが、グローバル最適解を信頼性高く特定できるか？
• RQ5 微分計算の並列化により、複雑なモデルにおける合計実行時間の観点から、マーラーディット・レヴェンバーグ法は他の最適化手法と同等の性能を発揮できるか？

主な発見

• marqLevAlgパッケージは、L-BFGS-B や BFGS が失敗するような、高次元または悪条件な設定においても、真の最適解に信頼性高く収束する。
• RDM収束基準（逆ヘッセ行列と勾配に基づく）は、平坦領域や停留在点への収束を効果的に防ぎ、解の信頼性を向上させる。
• 線形混合モデルの推定において、optimParallelを含む他の最適化手法と比較して、marqLevAlgが最も高速であった。これは効率的な並列導出計算による。
• 通常、30回未満の反復で収束するため、1回の反復にかかる計算コストが高めでも、全体として非常に効率的である。
• 文献に登録された複雑なモデルを用いたベンチマークにおいて、marqLevAlgは、特に複雑な関連構造を持つ連合モデルにおいて、他の手法と比較してより高い対数尤度値を達成した。
• L-BFGS-B や BFGS が収束基準が不十分なために部分的最適解を出力するモデルにおいて、marqLevAlgパッケージは収束問題を正常に解決した。