[논문 리뷰] modOpt: A modular development environment and library for optimization algorithms

Anugrah Jo Joshy, John T. Hwang|arXiv (Cornell University)|2024. 10. 16.

Parallel Computing and Optimization Techniques인용 수 5

한 줄 요약

modOpt는 모듈식 구성 요소로 최적화 알고리즘을 구축하고 테스트할 수 있게 해주는 오픈소스 파이썬 프레임워크로, 여러 모델링 언어와의 인터페이스, 내장 교육용 알고리즘, 시각화 및 벤치마킹 도구를 제공합니다.

ABSTRACT

Recent advances in computing hardware and modeling software have given rise to new applications for numerical optimization. These new applications occasionally uncover bottlenecks in existing optimization algorithms and necessitate further specialization of the algorithms. However, such specialization requires expert knowledge of the underlying mathematical theory and the software implementation of existing algorithms. To address this challenge, we present modOpt, an open-source software framework that facilitates the construction of optimization algorithms from modules. The modular environment provided by modOpt enables developers to tailor an existing algorithm for a new application by only altering the relevant modules. modOpt is designed as a platform to support students and beginner developers in quickly learning and developing their own algorithms. With that aim, the entirety of the framework is written in Python, and it is well-documented, well-tested, and hosted open-source on GitHub. Several additional features are embedded into the framework to assist both beginner and advanced developers. In addition to providing stock modules, the framework also includes fully transparent implementations of pedagogical optimization algorithms in Python. To facilitate testing and benchmarking of new algorithms, the framework features built-in visualization and recording capabilities, interfaces to modeling frameworks such as OpenMDAO and CSDL, interfaces to general-purpose optimization algorithms such as SNOPT and SLSQP, an interface to the CUTEst test problem set, etc. In this paper, we present the underlying software architecture of modOpt, review its various features, discuss several educational and performance-oriented algorithms within modOpt, and present numerical studies illustrating its unique benefits.

연구 동기 및 목표

• 컴포넌트를 모듈화하여 최적화 알고리즘 개발의 진입장벽을 낮춘다(예: 직선 탐색, 해시안 업데이트, 자격 함수).
• 여러 언어의 모델과 최적화기에 대해 단일하고 초보자 친화적인 인터페이스를 제공한다.
• 학생과 연구자가 최적화에 익숙해지도록 테스트, 벤치마킹, 시각화 및 학습을 촉진한다.
• 기존 모델링 프레임워크(OpenMDAO, CSDL, CasADi, Jax) 및 표준 테스트 문제(CUTEst)와의 통합 경로를 제공한다.
• 새로운 응용 분야에 대한 알고리즘의 빠른 프로토타이핑 및 전문화를 촉진한다.

제안 방법

• Problem/ProblemLite 클래스들로 문제 정의를 위한 모듈식 객체지향 소프트웨어 아키텍처를 설명하고, 알고리즘을 위한 Optimizer 기본 클래스를 제공한다.
• 최적화기가 구성할 수 있는 해시안 근사, 직선 탐색, 자격 함수 모듈을 구현한다.
• OpenMDAO, CSDL, Jax, CasADi 등 외부 최적화기와 모델링 언어에 대한 인터페이스를 제공한다.
• 비객체지향 사용을 위한 절차적 인터페이스(optimize)와 내장 시각화/기록 도구를 포함한다.
• 해석 도함수가 없을 때 수치 미분(JVP, VJP, HVP)을 지원하고, 스케일링 및 핫스타트도 가능하게 한다.

Figure 2 : UML class diagram for modOpt

실험 결과

연구 질문

• RQ1 모듈식 구성 요소로 최적화 알고리즘을 구축하여 빠른 프로토타이핑과 전문화를 가능하게 할 수 있는 방법은 무엇인가?
• RQ2 주어진 문제에 대해 모델과 최적화기를 바꿀 때 단일 인터페이스가 미치는 영향은 무엇인가?
• RQ3 modOpt가 여러 모델링 언어 및 레거시 최적화 패키지와 어떻게 통합되는가?
• RQ4 내장형 교수용 알고리즘과 시각화 도구로부터 어떤 교육 및 벤치마킹 이점이 생기는가?
• RQ5 모듈식 차별화 처리로 광범위한 문제(QP, 볼록, NLP)를 지원하고 확장 가능한 미분을 달성할 수 있는가?

주요 결과

• modOpt는 Problem/ProblemLite 모델과 Optimizer 구현을 결합하는 통합적이고 모듈식 아키텍처를 제공한다.
• 직선 탐색, 해시안 근사, 다양한 자격 함수 모듈을 포함하여 알고리즘 구성의 유연성을 확보한다.
• 프레임워크는 OpenMDAO, CSDL, Jax, CasADi 및 SNOPT, SLSQP 같은 외부 최적화기 인터페이스를 제공한다.
• 절차적 optimize 인터페이스와 내장 시각화/기록 지원은 학습, 테스트 및 벤치마킹을 촉진한다.
• 교육적 알고리즘과 투명한 파이썬 구현은 교육 및 빠른 실험에 도움을 준다.
• HDF5 기반 기록 및 핫스타트 기능은 재현성과 반복적 개선을 향상시킨다.

Figure 3 : Convergence comparison of different algorithms using the quartic function. Every algorithm starts from the initial guess $(1,1)$ . The total number of objective function evaluations required for convergence is indicated in parentheses next to the name of each algorithm in the legend.