[論文レビュー] modOpt: A modular development environment and library for optimization algorithms

Anugrah Jo Joshy, John T. Hwang|arXiv (Cornell University)|Oct 16, 2024

Parallel Computing and Optimization Techniques被引用数 5

ひとこと要約

modOpt は、モジュール化されたコンポーネントから最適化アルゴリズムを構築・テストできるオープンソースの Python フレームワークで、複数のモデリング言語へのインターフェースと組み込みの教育用アルゴリズム、可視化、およびベンチマークツールを備えています。

ABSTRACT

Recent advances in computing hardware and modeling software have given rise to new applications for numerical optimization. These new applications occasionally uncover bottlenecks in existing optimization algorithms and necessitate further specialization of the algorithms. However, such specialization requires expert knowledge of the underlying mathematical theory and the software implementation of existing algorithms. To address this challenge, we present modOpt, an open-source software framework that facilitates the construction of optimization algorithms from modules. The modular environment provided by modOpt enables developers to tailor an existing algorithm for a new application by only altering the relevant modules. modOpt is designed as a platform to support students and beginner developers in quickly learning and developing their own algorithms. With that aim, the entirety of the framework is written in Python, and it is well-documented, well-tested, and hosted open-source on GitHub. Several additional features are embedded into the framework to assist both beginner and advanced developers. In addition to providing stock modules, the framework also includes fully transparent implementations of pedagogical optimization algorithms in Python. To facilitate testing and benchmarking of new algorithms, the framework features built-in visualization and recording capabilities, interfaces to modeling frameworks such as OpenMDAO and CSDL, interfaces to general-purpose optimization algorithms such as SNOPT and SLSQP, an interface to the CUTEst test problem set, etc. In this paper, we present the underlying software architecture of modOpt, review its various features, discuss several educational and performance-oriented algorithms within modOpt, and present numerical studies illustrating its unique benefits.

研究の動機と目的

• 成分をモジュール化することによって最適化アルゴリズムの開発の敷居を下げる（例：ライン探索、ヘッセ行列更新、メリット関数）。
• 複数言語にわたる複数の最適化アルゴリズムとモデルへ、統一され、初心者にも優しいインターフェースを提供する。
• 最適化を新しく学ぶ学生や研究者のためのテスト、ベンチマーク、可視化、学習を促進する。
• 既存のモデリングフレームワーク（OpenMDAO、CSDL、CasADi、Jax）および標準的なテスト問題（CUTEst）と統合するための道筋を提供する。
• 新しい応用のためのアルゴリズムの迅速なプロトタイピングと専門化を促進する。

提案手法

• 問題定義のための Problem/ProblemLite クラスとアルゴリズムの基底クラス Optimizer を備えた、モジュール化されたオブジェクト指向ソフトウェアアーキテクチャを記述する。
• ヘッセ近似、ライン探索、メリット関数のモジュールを実装し、最適化アルゴリズムによって組み合わせ可能にする。
• 外部最適化アルゴリズム（例：SNOPT、IPOPT）およびモデリング言語（OpenMDAO、CSDL、Jax、CasADi）へのインターフェースを提供する。
• オブジェクト指向でない使用のための手続き的インターフェース（optimize）と組み込みの可視化/記録ツールを含む。
• 解析導関数が利用できない場合の数値微分をサポートし、JVP、VJP、HVP を含み、スケーリングとホットスタートを可能にする。

Figure 2 : UML class diagram for modOpt

実験結果

リサーチクエスチョン

• RQ1 モジュール化されたコンポーネントから最適化アルゴリズムを構築して、迅速なプロトタイピングと専門化を可能にするにはどうすればよいか。
• RQ2 特定の問題に対してモデルと最適化アルゴリズムを切り替える際の、統一インターフェースの影響はどうなるか。
• RQ3 modOpt は複数のモデリング言語と従来の最適化パッケージとの統合をどのように実現するか。
• RQ4 組み込みの教育用アルゴリズムと可視化ツールから生まれる教育・ベンチマークの利点は何か。
• RQ5 modOpt は導関数処理のスケーラビリティを備えた広範な問題クラス（QP、凸、NLP）をサポートできるか。

主な発見

• modOpt は Problem/ProblemLite モデルと Optimizer 実装を結びつける、統一でモジュール化されたアーキテクチャを提供します。
• ライン探索、ヘッセ近似、複数のメリット関数のモジュールを含み、柔軟なアルゴリズム構築を可能にします。
• このフレームワークは、OpenMDAO、CSDL、Jax、CasADi、外部最適化アルゴリズム（SNOPT、SLSQP など）へのインターフェースを提供します。
• 手続き的な optimize インターフェースと組み込みの可視化/記録機能は、学習・テスト・ベンチマーキングを促進します。
• 教育用アルゴリズムと透明な Python 実装は、教育と迅速な実験を支援します。
• HDF5 ベースの記録とホットスタート機能は、再現性と反復的な洗練を高めます。

Figure 3 : Convergence comparison of different algorithms using the quartic function. Every algorithm starts from the initial guess $(1,1)$ . The total number of objective function evaluations required for convergence is indicated in parentheses next to the name of each algorithm in the legend.