[논문 리뷰] Implementing a smooth exact penalty function for equality-constrained nonlinear optimization

Ron Estrin, Michael P. Friedlander외 2명|arXiv (Cornell University)|2019. 10. 09.

Matrix Theory and Algorithms참고 문헌 47인용 수 18

한 줄 요약

이 논문은 등식 제약 조건이 있는 비선형 최적화 문제에 대해 Fletcher의 부드럽고 정확한 페널티 함수의 계산적으로 효율적인 구현을 제시한다. 구조적 선형 시스템 해법과 적응형 정규화를 활용하여, 표준 비선형 프로그래밍 문제와 PDE 제약 조건이 있는 문제 모두에서 실용적인 성능을 보이며 R-이차 수렴성을 달성한다. 이는 오랫동안 이러한 페널티 함수가 계산적으로 금기시되어 왔다는 오랜 믿음에 도전한다.

ABSTRACT

We develop a general equality-constrained nonlinear optimization algorithm based on a smooth penalty function proposed by Fletcher (1970). Although it was historically considered to be computationally prohibitive in practice, we demonstrate that the computational kernels required are no more expensive than other widely accepted methods for nonlinear optimization. The main kernel required to evaluate the penalty function and its derivatives is solving a structured linear system. We show how to solve this system efficiently by storing a single factorization each iteration when the matrices are available explicitly. We further show how to adapt the penalty function to the class of factorization-free algorithms by solving the linear system iteratively. The penalty function therefore has promise when the linear system can be solved efficiently, e.g., for PDE-constrained optimization problems where efficient preconditioners exist. We discuss extensions including handling simple constraints explicitly, regularizing the penalty function, and inexact evaluation of the penalty function and its gradients. We demonstrate the merits of the approach and its various features on some nonlinear programs from a standard test set, and some PDE-constrained optimization problems.

연구 동기 및 목표

• Fletcher의 부드럽고 정확한 페널티 함수가 실용적 사용에 있어 계산적으로 비현실적이라는 오랜 인식을 도전하기 위해.
• 핵심 계산 커널인 구조적 사다리꼴 시스템의 해법이 순차적 정수계획법과 같이 널리 사용되는 방법들보다 더 비용이 많이 들지 않음을 보여주기 위해.
• 직접적 및 반복적 선형 해법을 통해 대규모 문제, 특히 PDE 제약 조건이 있는 최적화 문제에 이 페널티 함수를 적용할 수 있도록 하기 위해.
• 질량이 떨어진 제약 조건을 다루기 위한 정규화 및 근사 평가 전략과 같은 실용적인 개선 사항을 개발하기 위해.
• 약한 가정 하에 전역 및 국소 수렴 성질을 확립하고, 적응형 페널티 매개수 갱신을 통해 R-이차 수렴성을 달성하기 위해.

제안 방법

• 이차 근사화된 라그랑주 함수의 최소화로부터 유도된 부드럽고 정확한 페널티 함수 φσ(x)를 제안하며, 승수 추정치 yσ(x)는 최소제곱 문제를 통해 계산된다.
• 구조적 사다리꼴 시스템의 해법을 핵심 계산 커널으로 식별하며, 행렬이 명시적으로 제공될 경우 반복마다 한 번의 분해로 효율적으로 해결할 수 있다.
• 행렬 분해가 필요 없는 알고리즘에 적용하기 위해 선형 시스템을 반복적으로 해결하는 방식으로 방법을 적응시켜, 케리 로프 하위법과 조합 가능하고 조절 가능한 방법을 제공한다.
• 특성 행렬이 열이 불완전한 경우를 다루기 위해 정규화된 변형 φσ(x; δ)를 도입한다.
• 기울기 노름에 기반하여 δk를 갱신하는 적응형 페널티 매개수 전략을 사용하여 R-이차 수렴성을 확보한다.
• 신뢰역 유사 전역화를 갖춘 근사 뉴턴 방법을 사용하여 기울기 및 헤시안-벡터 곱의 근사 평가를 허용한다.

실험 결과

연구 질문

• RQ1 Fletcher의 부드럽고 정확한 페널티 함수는 대규모 비선형 최적화 문제에 대해 충분히 효율적으로 구현되어 실용적으로 사용될 수 있는가?
• RQ2 페널티 함수와 그 도함수의 평가 비용이 순차적 정수계획법과 같은 기존 방법들과 비교해 유사한가?
• RQ3 행렬 분해가 필요 없는 최적화 프레임워크에 이 페널티 함수를 어떻게 적용할 수 있는가? 특히 PDE 제약 조건이 있는 문제에서 효율적인 조절자가 존재하는 경우에 대해?
• RQ4 제안된 정규화 전략은 제약 조건의 야생행렬이 질량이 떨어졌을 경우에도 수렴성과 안정성을 보장하는가?
• RQ5 정확한 헤시안 행렬 계산을 피하는 적응형 페널티 매개수 갱신 규칙을 통해 R-이차 수렴성을 달성할 수 있는가?

주요 결과

• 페널티 함수 φσ(x)는 정확하다: 원래 문제의 국소 최소화점은 모든 σ > σ∗에 대해 φσ의 최소화점이 되며, 이는 전역 수렴성을 보장한다.
• 주요 계산 비용인 구조적 사다리꼴 시스템의 해법은 행렬이 명시적으로 제공되고 반복마다 한 번의 분해가 이루어질 경우 기존 방법들과 비슷한 비용을 갖는다.
• 대규모 문제의 경우 선형 시스템의 반복적 해법을 통해 효율적인 구현이 가능하며, 특히 PDE 제약 조건이 있는 최적화 문제에서 좋은 조절자가 존재할 경우 더욱 유리하다.
• 정규화된 페널티 함수 φσ(x; δ)는 해의 근처에서 C2 미분 가능성과 헤시안의 정정규성 보장을 통해 초선형 수렴을 가능하게 한다.
• 적응형 페널티 매개수 갱신 전략은 기울기를 근사적으로 평가하더라도 R-이차 수렴성을 달성한다. ∥xk − x∗∥ = O(δk)이고 δk+1 = O(δk²)이다.
• 표준 테스트 문제와 PDE 제약 조건이 있는 최적화 문제에 대한 수치 실험을 통해 본 방법의 강건성, 효율성 및 빠른 국소 수렴성을 확인한다.