[논문 리뷰] NOWPAC: A provably convergent nonlinear optimizer with path-augmented constraints for noisy regimes

F. Augustin, Youssef Marzouk|arXiv (Cornell University)|2014. 03. 08.

Advanced Optimization Algorithms Research참고 문헌 27인용 수 2

한 줄 요약

NOWPAC는 비선형 최적화 문제를 위한 도함수를 사용하지 않는 알고리즘으로, 완전 선형 모델과 새로운 경로 보강형 제약 조건 처리 기법을 사용하는 신뢰 영역 방법을 기반으로 하며, 노이즈가 있거나 정확도가 떨어지는 함수 평가 조건에서도 1차 임계점으로의 수렴을 보장한다. 이 알고리즘은 감쇠하는 오차 조건 하에서도 수렴을 보장하며, 실용적 환경에서 신뢰할 수 없는 평가를 탐지하고 완화하는 오차 지표를 포함한다.

ABSTRACT

This paper proposes the algorithm NOWPAC (Nonlinear Optimization With Path-Augmented Constraints) for nonlinear constrained derivative-free optimization. The algorithm uses a trust region framework based on fully linear models for the objective function and the constraints. A new constraint-handling scheme based on an inner boundary path allows for the computation of feasible trial steps using models for the constraints. We prove that the iterates computed by NOWPAC converge to a first-order critical point. We also discuss the convergence of NOWPAC in situations where evaluations of the objective function or the constraints are inexact, e.g., corrupted by numerical errors. We determine a rate of decay that the magnitude of these numerical errors must satisfy, while approaching the critical point, to guarantee convergence. In settings where adjusting the accuracy of the objective or constraint evaluations is not possible, as is often the case in practical applications, we introduce an error indicator to detect these regimes and prevent deterioration of the optimization results.

연구 동기 및 목표

• 함수 평가가 수치적 오차에 의해 손상되는 노이즈가 있는 환경에서 비선형 제약 조건이 있는 도함수 없는 최적화 문제를 해결하는 것.
• 모델 기반 내부 경계 경로를 통해 실현 가능한 시험 단계를 가능하게 하는 제약 조건 처리 기법을 개발하는 것.
• 부정확한 평가 조건 하에서도 반복점이 1차 임계점으로 수렴함을 증명하는 것.
• 노이즈가 있는 환경에서 수렴을 유지하기 위해 필요한 수치 오차의 감쇠 비율을 규명하는 것.
• 실용적 응용에서 성능 저하를 방지하기 위해 신뢰할 수 없는 평가를 탐지할 수 있는 오차 지표를 도입하는 것.

제안 방법

• NOWPAC는 목적 함수 및 제약 조건 모두에 대해 완전 선형 모델 기반의 신뢰 영역 프레임워크를 사용한다.
• 알고리즘은 제약 조건 모델을 사용하여 실현 가능한 시험 단계를 안내하는 내부 경계 경로를 정의하는 경로 보강형 제약 조건 전략을 도입한다.
• 시험 단계가 실현 가능 영역 내에 머무르는지 여부를 제약 조건 예측값을 기반으로 결정한다.
• 부정확한 평가 조건 하에서도 수렴 증명을 포함하며, 수치 오차가 충분한 속도로 감쇠할 경우 수렴이 유지됨을 보여준다.
• 평가가 너무 신뢰할 수 없을 때를 탐지할 수 있는 오차 지표를 통합하여 알고리즘이 적응하고 성능 저하를 방지할 수 있도록 한다.
• 목적 함수 또는 제약 조건 평가가 노이즈에 의해 손상되더라도 반복점이 1차 임계점으로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 목적 함수 및 제약 조건 평가가 수치적 오차에 의해 손상될 경우, 도함수 없는 최적화 알고리즘이 수렴을 유지할 수 있는가?
• RQ2 1차 임계점으로의 수렴을 보장하기 위해 수치 오차 크기의 감쇠 비율은 어느 정도여야 하는가?
• RQ3 도함수 없는 최적화에서 정확한 함수 평가 없이도 실현 가능한 시험 단계를 확보하기 위해 제약 조건 처리 방식을 어떻게 향상시킬 수 있는가?
• RQ4 신뢰 영역 알고리즘에 자동 오차 탐지 메커니즘을 통합하여 노이즈가 많은 환경에서 성능 저하를 방지할 수 있는가?
• RQ5 부정확한 평가 조건 하에서도 수렴을 보장하면서 실현 가능성을 유지할 수 있는 경로 보강형 제약 조건 전략을 설계할 수 있는가?

주요 결과

• NOWPAC는 완전 선형 모델 기반의 신뢰 영역 프레임워크 하에서 1차 임계점으로 증명 가능하게 수렴한다.
• 함수 평가에서의 수치 오차 크기가 알고리즘의 수렴 조건에 부합하는 속도로 감쇠할 경우, 수렴이 보장된다.
• 경로 보강형 제약 조건 전략은 제약 조건의 모델 예측값만을 사용하여 실현 가능한 시험 단계를 계산할 수 있도록 한다.
• 신뢰할 수 없는 평가를 탐지하고 최적화 성능 저하를 방지하기 위해 오차 지표가 성공적으로 통합되었다.
• 평가 정확도를 조절할 수 없는 실용적 상황에서도 노이즈 환경을 탐지하고 대응함으로써 알고리즘이 강건함을 유지한다.