[논문 리뷰] An interior point method for nonlinear constrained derivative-free optimization

Andrea Brilli, Giampaolo Liuzzi외 1명|arXiv (Cornell University)|2021. 08. 11.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 목적 함수 및 제약 함수가 블랙박스이자 비이완 가능(non-relaxable)한 비선형 제약 최적화 문제를 위한 도함수 기반 내점법을 제안한다. 불등식 제약에는 로그-바리에이션 방법을, 등식 제약에는 이차 페널티를 사용하여 미류수 함수에 통합하고, 약한 가정 하에 KKT 점으로 수렴함을 증명하며, 최신 기술 대비 표준 테스트 문제에서 효율성을 입증한다.

ABSTRACT

In this paper we consider constrained optimization problems where both the objective and constraint functions are of the black-box type. Furthermore, we assume that the nonlinear inequality constraints are non-relaxable, i.e. their values and that of the objective function cannot be computed outside of the feasible region. This situation happens frequently in practice especially in the black-box setting where function values are typically computed by means of complex simulation programs which may fail to execute if the considered point is outside of the feasible region. For such problems, we propose a new derivative-free optimization method which is based on the use of a merit function that handles inequality constraints by means of a log-barrier approach and equality constraints by means of a quadratic penalty approach. We prove convergence of the proposed method to KKT stationary points of the problem under quite mild assumptions. Furthermore, we also carry out a preliminary numerical experience on standard test problems and comparison with a state-of-the-art solver which shows efficiency of the proposed method.

연구 동기 및 목표

• 목적 함수 및 제약 함수가 블랙박스이자 비이완 가능한 비선형 제약 최적화 문제를 다루는 것, 즉 탇행 영역 외부에서 평가가 실패하는 경우.
• 극단적 페널티 접근 방식 대신 내부 페널라이제이션을 사용하여 비이완 가능한 제약 조건을 연속성의 문제가 없도록 처리하는 방법을 개발하는 것.
• 도함수가 이용 가능하지 않은 경우에도 약한 가정 하에 KKT 정류점으로 수렴함을 보장하는 것.
• 도함수 정보가 없을 때도 로그-바리에이션과 페널티 항을 효과적으로 통합할 수 있는 실용적인 알고리즘을 설계하는 것.

제안 방법

• 불등식 제약 $ g(x) \leq 0 $ 에 대해 로그-바리에이션 항, 등식 제약 $ h(x) = 0 $ 에 대해 이차 페널티 항을 포함하는 미류수 함수를 정의한다. 이는 $ P(x;\epsilon) = f(x) - \epsilon \sum \log[-g_j(x)] + \frac{1}{\epsilon} \sum |h_j(x)|^\nu $ ($ \nu > 1 $) 로 표현된다.
• 만약 $ g(x) \not< 0 $ 라면 $ P(x;\epsilon) = +\infty $ 임을 규정하여 비이완 가능한 제약 조건이 절대 위반되지 않도록 보장한다.
• 제약 조건 $ x \in \stackrel{\circ}{\mathcal{S}} \cap X $ 하에 하위 문제 $ \min P(x;\epsilon) $ 를 해결한다. 여기서 $ \stackrel{\circ}{\mathcal{S}} $ 는 불등식 제약 집합의 내부를 의미한다.
• 기울기 정보가 필요 없이 패턴 검색 기반 알고리즘을 사용하여 미류수 함수를 최소화한다.
• 충분한 감소를 보장하기 위해 필터 유형의 수락 기준을 사용하는 선형 탐색 전략을 적용한다.
• 적응형 페널티 파라미터 $ \epsilon_k $ 를 사용하는 트러스트 영역 유사 프레임워크를 적용하며, 반복점이 최적해에 수렴함에 따라 $ \epsilon_k $ 를 점차 감소시킨다.

실험 결과

연구 질문

• RQ1 도함수 기반 내점법이 비이완 가능한 블랙박스 제약 조건을 다룰 때 불연속성이나 악조건 문제를 유발하지 않으면서 효과적으로 작동할 수 있는가?
• RQ2 도함수가 이용 가능하지 않은 상황에서, 미류수 함수에 로그-바리에이션과 이차 페널티 항을 조합하면 약한 가정 하에 KKT 점으로 수렴하는가?
• RQ3 실제로 최신 기술 대비 도함수 기반 최적화 솔버와 비교했을 때, 제안된 방법은 어떻게 성능을 보이는가?
• RQ4 복잡한 시뮬레이션 기반 제약 조건이 존재하는 상황에서, 알고리즘이 전역 수렴성을 유지하고 비가용점 또는 부분 최적점으로 수렴하는 것을 방지할 수 있는가?

주요 결과

• 도함수가 이용 가능하거나 신뢰할 수 없을지라도, 약한 가정 하에 제안된 방법은 KKT 정류점으로 수렴함을 입증하였다.
• 반복점 수열 동안 불등식 및 등식 제약 조건에 대한 라그랑주 승수의 수열이 유계임을 확인하여 안정성을 확보하였다.
• 수렴 증명은 한계점에서 망가사리안-프롬프비츠 제약 조건(MFCQ)이 성립한다고 가정하며, 분석 과정에서 이 조건이 유지된다고 전제한다.
• 표준 테스트 문제에 대한 수치 실험 결과, 최신 기술 대비 수렴 품질과 강건성 면에서 경쟁 가능한 성능을 보였다.
• 극단적 페널티 접근 방식에서 발생하는 악조건 문제와 불연속성을 효과적으로 피하여 보다 신뢰할 수 있는 수렴을 이끌어냈다.
• 비이완 가능한 제약 조건에 대해 로그-바리에이션을 사용함으로써, 가용 영역 내부에서 미류수 함수가 유한하고 매끄럽게 유지되어 안정적인 최적화를 가능하게 하였다.