[논문 리뷰] An adaptive discretization method solving semi-infinite optimization problems with quadratic rate of convergence

Tobias Seidel, Karl‐Heinz Küfer|arXiv (Cornell University)|2019. 10. 30.

Optimization and Variational Analysis참고 문헌 25인용 수 13

한 줄 요약

이 논문은 반무한 최적화 문제에 대한 적응형 이산화 방법 quADAPT를 제안한다. 이 방법은 하위 문제의 선형화된 제약 조건을 이산화된 보조문제에 통합하여 이차 수렴을 달성한다. KKT 조건과 민감도 정보를 활용함으로써 고전적인 Blankenship 및 Falk 방법보다 수렴 속도를 향상시키며, 강한 안정성 가정 하에 반복점이 이차 수렴으로 정류점에 수렴함을 보장한다.

ABSTRACT

Semi-infinite programming can be used to model a large variety of complex optimization problems. The simple description of such problems comes at a price: semi-infinite problems are often harder to solve than finite nonlinear problems. In this paper we combine a classical adaptive discretization method developed by Blankenship and Falk and techniques regarding a semi-infinite optimization problem as a bi-level optimization problem. We develop a new adaptive discretization method which combines the advantages of both techniques and exhibits a quadratic rate of convergence. We further show that a limit of the iterates is a stationary point, if the iterates are stationary points of the approximate problems.

연구 동기 및 목표

• 고전적인 Blankenship 및 Falk의 방법처럼 일반적으로 선형 수렴을 보이는 적응형 이산화 방법의 느린 수렴 문제를 해결하기 위해.
• 하위 문제의 민감도 정보를 통합함으로써 반무한 최적화 문제에 대해 이차 수렴을 달성하는 방법을 개발하기 위해.
• 반복점의 극한점이 원래 반무한 문제의 정류점임을 보장하기 위해.
• 고정밀도 해에 도달하기 위해 필요한 반복 횟수와 이산화 점의 수를 줄이기 위해.

제안 방법

• 하위 문제의 KKT 조건에서 유도된 추가 선형 제약 조건을 포함한 수정된 이산화 문제(SIPk_mod)를 도입한다.
• 감소 가설을 사용하여 하위 문제의 최적성 조건을 표현함으로써 상위 문제 변수에 대한 최적값 함수의 민감도 정보(미분계수)를 도출할 수 있도록 한다.
• 각 반복 단계에서 현재의 이산화 점 집합과 탐색되지 않은 인덱스 집합 영역을 반영한 추가 선형 제약 조건을 포함한 이산화 문제를 해결한다.
• 현재 반복점 주변에서 위반 함수의 일阶 테일러 전개를 적용하여 전체 인덱스 집합에서의 최대 위반도를 선형 하한추정자로 구성한다.
• 새로운 제약 조건이 현재 반복점에서만 활성화되고, 지역 민감도를 반영하도록 반복적으로 갱신됨을 보장한다.
• 강한 안정성과 EMFCQ 가정을 사용하여 해 경로의 국소 유일성과 정류성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 수정된 적응형 이산화 방법이 고전적인 Blankenship 및 Falk 방법과 달리 반무한 프로그램에서 이차 수렴을 달성할 수 있는가?
• RQ2 반복점의 극한점이 원래 반무한 문제의 정류점이 되는 조건은 무엇인가?
• RQ3 하위 문제의 민감도 정보는 어떻게 상위 문제의 보조문제에 통합되어 수렴 속도를 가속화할 수 있는가?
• RQ4 새로운 방법은 고전적 방법에 비해 반복 횟수와 이산화 점의 수를 줄일 수 있는가?
• RQ5 수렴 속도와 계산 노력 측면에서 양적 성능 향상은 어느 정도인가?

주요 결과

• 강한 안정성 가정 하에, 제안된 quADAPT 방법은 반무한 문제의 정류점으로 반복점이 이차 수렴함을 보장한다.
• 각 보조문제의 해가 KKT 점이면, 반복점의 모든 극한점이 원래 SIP의 정류점임을 보장한다.
• 수치 결과에 따르면, quADAPT는 3회의 반복(0.74초) 만에 정밀도 10−4에 도달했고, 고전적인 Blankenship 및 Falk 방법은 14회의 반복(2.06초)이 필요했다. 이는 반복 횟수와 시간 모두에 있어 뚜렷한 감소를 보였다.
• quADAPT의 경우 3회의 반복 동안 최적해와의 거리가 3.4975에서 1.0989×10−5로 감소했고, 고전적 방법은 0.7586에 머물렀다.
• 모든 이분 단계마다 점을 추가할 필요가 없기 때문에 이산화 점의 수를 줄여 보조문제의 해를 더 빨리 얻을 수 있었다.
• 이론적 분석을 통해, 탐색되지 않은 인덱스 집합 영역을 반영하는 선형화된 제약 조건이 포함되어 있어 이차 수렴 속도가 유지됨을 확인했다.