[논문 리뷰] DFO-LS: A flexible derivative-free solver for (bound constrained) nonlinear least-squares minimization

Coralia Cartis, Jan Fiala외 2명|arXiv (Cornell University)|2019. 04. 05.

Advanced Optimization Algorithms Research인용 수 10

한 줄 요약

DFO-LS는 잔차에 대해 단순화된 선형 회귀 모델을 활용하여 최소 제곱 문제를 위한 도함수 기반 최적화 솔버로, 최소 두 번의 목적 함수 평가로도 조기에 성과를 내는 데에 기여한다. 이는 정지 상태 자동 감지, 다중 재시작, 노이즈 처리 전략을 통해 강건성을 향상시키며, 노이즈가 있는 문제와 비용이 큰 문제에서 샘플링 및 회귀 기반 방법보다 뛰어난 성능을 보이며, 매끄러운 목적 함수에서도 뛰어난 성능을 유지한다.

ABSTRACT

DFO-LS is a flexible package for solving nonlinear least-squares minimisation, without requiring derivatives of the objective. It is particularly useful when evaluations of the objective function are expensive and/or noisy. URL: https://github.com/numericalalgorithmsgroup/dfols Documentation: https://numericalalgorithmsgroup.github.io/dfols/ More information about DFO-LS can be found in our paper: Coralia Cartis, Jan Fiala, Benjamina Marteau and Lindon Roberts, Improving the Flexibility and Robustness of Model-Based Derivative-Free Optimization Solvers, ACM Transactions on Mathematical Software, 45:3 (2019), pp. 32:1-32:41. [preprint]

연구 동기 및 목표

• 비용이 많이 들고 노이즈가 있는 문제에 대해 모델 기반 도함수 기반 최적화 솔버의 유연성과 강건성을 향상시키는 것.
• 모델 기반 DFO 솔버의 초기화 비용을 줄여, 기존의 n차원 문제에 대해 n+1번의 목적 함수 평가가 아닌 최소 두 번의 평가로도 진전을 이끌어내는 것.
• 샘플링 평균화, 회귀 모델, 다중 재시작 전략을 통해 노이즈에 대한 강건성을 향상시키며, 특히 초기 단계 성능 향상에 기여하는 것.
• 유사한 강건성 기능을 갖춘 일반적인 비선형 최적화를 위한 파이썬 기반 구현인 Py-BOBYQA를 개발하는 것.
• 성능 평가에서 진짜 목적 함수 개선과 노이즈가 있는 목적 함수 개선 간의 균형을 맞추기 위해 데이터 프로파일에 노이즈 조정 정확도 측정법을 도입하는 것.

제안 방법

• DFO-LS는 가우스-뉴턴 방법에 영감을 받은 신뢰 영역 프레임워크를 사용하여 잔차에 대해 단순화된 선형 회귀 모델을 구성한다.
• 대부분의 모델 기반 DFO 솔버가 요구하는 표준 n+1개의 평가 요구 조건을 회피하고, 목적 함수 평가가 두 번 뿐인 초기화를 허용한다.
• 정지 상태 자동 감지를 통해 다중 재시작을 트리거함으로써 국소 최소값에서 벗어나고 강건성이 향상된다.
• 샘플링 평균화와 회귀 기반 모델을 통합하여 노이즈 처리를 수행하며, 각 반복에서 O(∆⁻¹ₖ)의 샘플링을 통해 강건성과 조기 성능 간의 균형을 맞춘다.
• Py-BOBYQA는 BOBYQA의 파이썬 버전으로 구현되었으며, 경계 제약 조건과 노이즈에 강건한 전략을 지원한다.
• 노이즈가 있는 함수에서의 성능 평가를 공정하게 하기 위해 데이터 프로파일에 새로운 적응형 정확도 측정법을 도입하였다.

실험 결과

연구 질문

• RQ1 도함수 기반 최적화 솔버가 n+1개 이하의 목적 함수 평가로도 비용이 큰 문제에서 의미 있는 진전을 이룰 수 있는가?
• RQ2 다중 재시작 전략이 도함수 기반 최적화에서 노이즈에 대한 강건성 향상과 국소 최소값 탈출에 얼마나 효과적인가?
• RQ3 모델 기반 DFO에서 회귀 모델이나 샘플링 평균화를 사용할 경우, 기존 방법 대비 노이즈가 있는 문제에서 성능 향상이 이루어지는가?
• RQ4 노이즈 조정 정확도 수준을 데이터 프로파일에 도입함으로써, 노이즈가 있는 함수에서의 솔버 성능 평가가 노이즈가 있는 목적 함수 개선과 진짜 목적 함수 개선 간에 균형을 맞출 수 있는가?
• RQ5 DFO-LS의 초기화 민첩성은 전통적인 모델 기반 DFO 솔버에 비해 조기 성능 및 장기 수렴 측면에서 어떻게 비교되는가?

주요 결과

• DFO-LS는 단일 기울기 평가에 필요한 것보다 적은 목적 함수 평가로 중간 규모 문제에서 합리적인 진전을 이룬다.
• 이 솔버는 최소 두 번의 목적 함수 평가로도 진전을 시작할 수 있어, 비용이 큰 문제에서 초기화 비용을 크게 줄일 수 있다.
• 정지 상태 자동 감지에 의해 트리거되는 다중 재시작은 저비용이면서도 효과적인 강건성 향상 수단으로, 샘플링 및 회귀 기반 기법보다 뛰어난 성능을 보인다.
• 노이즈가 있는 문제에서, 다중 재시작 기반 Py-BOBYQA는 최신 기술 수준의 DFO 솔버와 비교해 유사하거나 더 뛰어난 성능을 달성한다.
• 제안된 데이터 프로파일의 노이즈 조정 정확도 측정법은 노이즈가 있는 함수에서의 솔버 성능 평가를 더욱 공정하게 만들며, 노이즈가 있는 목적 함수 개선과 진짜 목적 함수 개선 간의 일치를 이룬다.
• 다중 재시작은 매끄러운 문제에서 성능을 떨어뜨리지 않으며, 국소 최소값에서 벗어나도록 해주는 것으로 확인되었고, 이는 (MW) 컬렉션의 문제 14에서 입증되었다.