[논문 리뷰] NOWPAC: A provably convergent derivative-free nonlinear optimizer with path-augmented constraints

F. Augustin, Youssef Marzouk|arXiv (Cornell University)|2014. 03. 08.

Advanced Optimization Algorithms Research참고 문헌 44인용 수 15

한 줄 요약

NOWPAC는 목적 함수 및 제약 조건에 대해 완전 선형 모델을 사용하는 신뢰 영역 프레임워크를 쓰는 도함수 기반 비선형 최적화 알고리즘으로, 타당한 시도 단계를 보장하기 위해 새로운 경로 보완 제약 처리 기법을 통합한다. 이 방법은 함수 평가가 정확하지 않을 경우에도 제1차 임계점으로 수렴함을 증명할 수 있으며, 수치 오차가 적절한 비율로 감소할 경우 수렴이 보장되며, 실무에서 신뢰할 수 없는 평가를 탐지하고 완화하기 위한 오차 지표를 포함한다.

ABSTRACT

This paper proposes the algorithm NOWPAC (Nonlinear Optimization With Path-Augmented Constraints) for nonlinear constrained derivative-free optimization. The algorithm uses a trust region framework based on fully linear models for the objective function and the constraints. A new constraint-handling scheme based on an inner boundary path allows for the computation of feasible trial steps using models for the constraints. We prove that the iterates computed by NOWPAC converge to a first-order critical point. We also discuss the convergence of NOWPAC in situations where evaluations of the objective function or the constraints are inexact, e.g., corrupted by numerical errors. We determine a rate of decay that the magnitude of these numerical errors must satisfy, while approaching the critical point, to guarantee convergence. In settings where adjusting the accuracy of the objective or constraint evaluations is not possible, as is often the case in practical applications, we introduce an error indicator to detect these regimes and prevent deterioration of the optimization results.

연구 동기 및 목표

• 목적 함수 및 제약 조건 함수가 블랙박스 평가로만 제공되는 비선형 제약 최적화 문제를 위한 도함수 기반 최적화 알고리즘을 개발하는 것.
• 실제 응용에서 흔히 발생하는, 사전에 제어하거나 경계할 수 없는 수치 오차가 존재하는 경우의 함수 평가의 비정확성 문제를 다루는 것.
• 함수 평가의 비정확성에도 불구하고 제1차 임계점으로의 수렴을 보장하는 것.
• 제약 조건 모델을 사용하여 타당한 시도 단계를 계산할 수 있도록 하는 내부 경로 기반의 새로운 제약 조건 처리 메커니즘을 도입하는 것.
• 함수 평가의 비정확성 조건 하에서도 수렴성에 대한 이론적 보장을 제공하고, 실무에서 성능 저하를 방지하기 위한 오차 지표를 제공하는 것.

제안 방법

• NOWPAC는 목적 함수와 제약 조건에 대해 완전 선형 모델을 사용하는 신뢰 영역 프레임워크를 적용하여 도함수 정보 없이 국소 근사가 가능하다.
• 이 알고리즘은 제약 조건 예측을 사용하여 제약 조건을 만족하는 시도 단계를 계산할 수 있도록 하는 내부 경로 기반의 경로 보완 제약 처리 기법을 도입한다.
• 신뢰 영역 내에서 가능한 방향에 대한 목적 함수의 그래디언트 최소값을 기반으로 한 임계도 측정 기반을 제안하며, 이는 제약 조건 모델을 고려하여 조정된다.
• 기본 가정(신뢰 영역 반경 감소) 하에 제1차 임계점으로의 전역 수렴을 보장하는 수렴 이론을 통합한다.
• 비정확한 평가 조건에서는 모델 정확도와 신뢰 영역 크기에 기반해 수렴성을 유지하기 위해 수치 오차의 감소 비율을 유도한다.
• 함수 평가 정확도를 조정할 수 없는 상황에서 성능 저하를 방지하기 위해 고정되지 않은 비정확성 영역을 탐지하기 위한 오차 지표를 도입한다.

실험 결과

연구 질문

• RQ1 목적 함수 및 제약 조건 함수의 평가가 비정확할 경우에도 도함수 기반 최적화 알고리즘이 제1차 임계점으로 전역 수렴할 수 있는가?
• RQ2 도함수가 이용 불가능한 상황에서 페널티 함수나 필터에 의존하지 않고 제약 조건 처리를 어떻게 향상시킬 수 있는가?
• RQ3 함수 평가의 수치 오차가 어떤 감소 비율을 가져야 알고리즘이 임계점으로 수렴하는가?
• RQ4 실무에서 함수 평가의 비정확성이 높은 영역을 탐지하고 성능 저하를 방지하기 위한 실용적인 오차 탐지 메커니즘을 설계할 수 있는가?
• RQ5 경로 보완 제약 전략은 도함수 기반 신뢰 영역 방법의 타당성과 수렴 행동을 어떻게 향상시키는가?

주요 결과

• NOWPAC는 표준 신뢰 영역 가정 하에 목적 함수 및 제약 조건 평가가 비정확할 경우에도 제1차 임계점으로 수렴함을 증명할 수 있다.
• 수치 오차의 크기가 ρk(신뢰 영역 반경)의 o(ρk) 비율로 감소할 경우 수렴이 보장된다.
• 경로 보완 제약 처리 기법은 제약 조건의 모델 예측 값만을 사용하여 타당한 시도 단계를 계산할 수 있도록 하여 강건성과 타당성을 향상시킨다.
• 신뢰 영역 반경이 감소함에 따라 알고리즘의 임계도 측정 기반 값이 0으로 수렴함을 입증하여 임계점으로의 수렴을 보장한다.
• 고정되지 않은 비정확성 영역을 탐지하고 실무 응용에서 성능 저하를 방지하기 위해 오차 지표를 성공적으로 통합하였다.
• 이론적 분석을 통해 목적 함수 및 제약 조건의 그래디언트 근사 오차가 o(ρk)에 속함을 확인하여 모델 기반 최적화 과정의 일관성을 보장한다.