[논문 리뷰] Constrained Global Optimization by Smoothing

V. I. Norkin, Alois Pichler외 1명|arXiv (Cornell University)|2023. 08. 16.

Advanced Optimization Algorithms ResearchMathematics인용 수 3

한 줄 요약

이 논문은 비연속적이고 비연속적인 함수의 제약 조건이 있는 전역 최적화를 위한 새로운 확률적 순차 스무딩 방법을 제안한다. 제약 조건을 처리하기 위해 정확한 페널티 함수를 결합하고 스무딩 수준을 점진적으로 감소시킴으로써, 확률적 유한차분 기울기 하강법을 통해 전역 수렴을 달성하며, 최대 작은 다각형 문제와 같은 벤치마크 문제에서 고품질의 해를 도출한다.

ABSTRACT

This paper proposes a novel technique called "successive stochastic smoothing" that optimizes nonsmooth and discontinuous functions while considering various constraints. Our methodology enables local and global optimization, making it a powerful tool for many applications. First, a constrained problem is reduced to an unconstrained one by the exact nonsmooth penalty function method, which does not assume the existence of the objective function outside the feasible area and does not require the selection of the penalty coefficient. This reduction is exact in the case of minimization of a lower semicontinuous function under convex constraints. Then the resulting objective function is sequentially smoothed by the kernel method starting from relatively strong smoothing and with a gradually vanishing degree of smoothing. The finite difference stochastic gradient descent with trajectory averaging minimizes each smoothed function locally. Finite differences over stochastic directions sampled from the kernel estimate the stochastic gradients of the smoothed functions. We investigate the convergence rate of such stochastic finite-difference method on convex optimization problems. The "successive smoothing" algorithm uses the results of previous optimization runs to select the starting point for optimizing a consecutive, less smoothed function. Smoothing provides the "successive smoothing" method with some global properties. We illustrate the performance of the "successive stochastic smoothing" method on test-constrained optimization problems from the literature.

연구 동기 및 목표

• 기존의 기울기 방법이 실패하는 일반적인(특히 볼록적인) 제약 조건 하에서 비연속적이고 비연속적인 함수의 전역 최적화 문제를 해결하기 위해.
• 매끄러운 근사치에서 국소 최적화 기법을 사용하더라도 전역 탐색 성질을 유지할 수 있는 방법을 개발하기 위해.
• 페널티 계수 조정이 필요 없도록 정확한 비연속 페널티 함수 방법을 사용하여 페널티 계수 선택의 필요성을 제거하기 위해.
• 매끄러운 함수에서 무작위 방향으로 유한차분 추정을 통해 효율적인 확률적 기울기 최적화를 가능하게 하기 위해.
• 어려운 테스트 문제, 특히 최대 작은 다각형 문제에 대한 이 방법의 효과성을 입증하기 위해.

제안 방법

• 페널티 계수 조정이 필요 없는 정확한 비연속 페널티 함수 방법을 사용하여 제약 최적화 문제를 비제약 문제로 변환한다.
• 강한 스무딩에서 시작하여 점차 스무딩 파라미터를 감소시키는 커널 기반 스무딩 연산의 시퀀스를 적용하여 원래 함수를 근사한다.
• 경로 평균화를 사용한 유한차분 기반 확률적 기울기 하강법을 통해 각 매끄러운 함수를 국소적으로 최소화한다.
• 커널 분포에서 샘플링된 무작위 방향을 따라 매끄러운 함수의 기울기를 유한차분으로 추정한다.
• 이전 최적화 실행 결과를 다음에 더 적은 스무딩 수준을 가진 문제의 초기 점으로 활용하여 수렴성과 전역 탐색 성능을 향상시킨다.
• 겔판드-체츠린-네스테로프 방법 프레임워크를 활용하지만 국소 내림걸음 대신 다단계 확률적 절차를 도입하여 전역 행동을 향상시킨다.

실험 결과

연구 질문

• RQ1 기울기 또는 부분도 정보에 의존하지 않고도 스무딩 기반 방법이 비연속적이고 비연속적인 제약 조건이 있는 문제에 대해 전역 최적화를 달성할 수 있는가?
• RQ2 감소하는 커널 폭을 가진 순차적 스무딩은 표준 국소 스무딩에 비해 전역 최소값 수렴에 어떻게 향상되는가?
• RQ3 제안된 확률적 유한차분 방법의 수렴 속도는 볼록 제약 조건이 있는 문제에서 어떻게 되는가?
• RQ4 비-Lipschitz 및 비연속 함수에 대해 기존의 국소 방법에 비해 이 방법이 전역 해를 찾는 데 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 최대 작은 다각형 문제와 같은 실제 응용 테스트 문제에서 이 방법은 얼마나 효과적인가?

주요 결과

• 이 방법은 n=500일 때 최대 작은 다각형 문제를 성공적으로 해결하여 이론적 한계인 0.7854에 가까운 최대 면적 0.7588을 달성했다.
• n=20일 때 이 방법은 단지 500회의 반복과 132,264회의 함수 평가로도 이상치인 0.7854에 가까운 해 0.7680을 도출했다.
• 상자 제약 조건이 있는 문제에 대해서도 알고리즘이 강력한 성능을 보였으며, 큰 n에 대해서도 고품질의 해로 수렴하여 강력한 전역 탐색 능력을 보였다.
• 경로 평균화와 무작위 방향 샘플링을 사용함으로써 비연속 함수에서 안정적이고 효율적인 기울기 추정이 가능했다.
• 확률적 유한차분 방법의 수렴 속도를 조사하였고, 볼록 문제에서 효과적임을 입증하여 이론적 타당성을 뒷받침했다.
• 최소한의 페널티 계수 조정으로도 near-최적의 결과(예: n=4일 때 0.4994 vs 이상치 0.5000)를 도출하여 정확한 페널티 접근법의 타당성을 검증했다.