[논문 리뷰] Multiple local minima of PDE-constrained optimisation problems via deflation

Patrick E. Farrell|arXiv (Cornell University)|2015. 08. 30.

Matrix Theory and Algorithms인용 수 1

한 줄 요약

이 논문은 비볼록 PDE-제약 최적화 문제에서 다수의 국소 최솟값을 계산하기 위해, 이전에 발견된 해를 제외하도록 카루시-쿠른-터커 조건을 수정하는 탈출 기법을 제안한다. 스케일러블 샤우르 여인자 조건부 조건자(preconditioner)를 사용할 경우, 뉴턴 단계에서 케리로프 반복 횟수가 탈출 후 최대 두 배로 증가함을 증명하며, 이는 약 1,000만 개의 자유도를 가진 대규모 문제에서도 효율적인 계산을 가능하게 한다.

ABSTRACT

Nonconvex optimisation problems constrained by partial differential equations (PDEs) may permit distinct local minima. In this paper we present a numerical technique, called deflation, for computing multiple local solutions of such optimisation problems. The basic approach is to apply a nonlinear transformation to the Karush-Kuhn-Tucker optimality conditions that eliminates previously found solutions from consideration. Starting from some initial guess, Newton's method is used to find a stationary point of the Lagrangian; this solution is then deflated away, and Newton's method is initialised from the same initial guess to find other solutions. In this paper, we investigate how the Schur complement preconditioners widely used in PDE-constrained optimisation perform after deflation. We prove an upper bound on the number of new distinct eigenvalues of a matrix after an arbitrary additive perturbation; from this it follows that for diagonalisable operators the number of Krylov iterations required for exact convergence of the Newton step at most doubles compared to the undeflated problem. While deflation is not guaranteed to converge to all minima, these results indicate the approach scales to arbitrary-dimensional problems if a scalable Schur complement pre-conditioner is available. The technique is demonstrated on a discretised nonconvex PDE-constrained optimisation problem with approximately ten million degrees of freedom.

연구 동기 및 목표

• 비볼록 PDE-제약 최적화 문제에서 다수의 국소 최솟값 문제를 해결하기 위해.
• 기본 솔버가 처음으로 발견한 해를 초월해 독립된 국소 해를 체계적으로 탐색할 수 있는 수치적 방법을 개발하기 위해.
• 뉴턴 반복 과정에서 탈출를 적용한 후 샤우르 여인자 조건부 조건자의 성능을 분석하기 위해.
• 탈출 후 조건수와 케리로프 수렴 행동에 대한 이론적 경계를 설정하기 위해.
• 약 1,000만 개의 자유도를 가진 대규모 문제에서 방법의 스케일러빌리티를 입증하기 위해.

제안 방법

• 이전에 계산된 해를 고려에서 제거하기 위해 카루시-쿠른-터커(KKT) 시스템에 비선형 탈출 변환을 적용하기 위해.
• 각 탈출 단계 이후 동일한 초기 추측값에서 시작하는 뉴턴 방법을 사용해 새로운 정적점으로 수렴시키기 위해.
• 대규모 문제에서 효율성을 유지하기 위해 일반적으로 PDE-제약 최적화에서 사용되는 샤우르 여인자 조건부 조건자를 활용하기 위해.
• 임의의 덧셈 행렬 편향에 의해 유도되는 새로운 고유값의 수에 대한 상한을 유도하기 위해.
• 탈출 후 뉴턴 단계에서 정확한 수렴을 위해 필요한 케리로프 반복 수가 최대 두 배로 증가함을 증명하기 위해.
• 약 1,000만 개의 자유도를 가진 이산화된 비볼록 PDE-제약 최적화 문제에 대해 방법을 적용하여 스케일러빌리티를 검증하기 위해.

실험 결과

연구 질문

• RQ1 탈출 기법은 PDE-제약 최적화 문제에 효과적으로 적용되어 다수의 국소 최솟값을 계산하는 데에 유용한가?
• RQ2 대규모 문제에서 뉴턴 반복 과정에서 케리로프 솔버의 수렴 성질에 탈출이 어떻게 영향을 미치는가?
• RQ3 특히 고유값 변화 측면에서, 탈출이 자코비안 시스템의 스펙트럼에 미치는 이론적 영향은 무엇인가?
• RQ4 탈출 적용 후에도 샤우르 여인자 조건부 조건자가 여전히 효과적인가?
• RQ5 1,000만 개의 자유도와 같은 매우 큰 자유도 문제에 대해 이 방법은 어느 정도 스케일러블한가?

주요 결과

• 탈출 기법은 비볼록 PDE-제약 최적화 문제에서 다수의 서로 다른 국소 최솟값을 성공적으로 계산하는 데에 기여한다.
• 비록 대각화 가능한 연산자에 대해서라도, 탈출 후 뉴턴 단계에서 정확한 수렴을 위해 필요한 케리로프 반복 수는 최대 두 배로 증가한다.
• 임의의 덧셈 편향에 의해 유도되는 새로운 고유값의 수에 대한 이론적 상한은 이 방법의 강건성을 뒷받침한다.
• 탈출 후에도 샤우르 여인자 조건부 조건자가 효과적으로 유지되어 대규모 문제에 대한 스케일러빌리티를 보존한다.
• 약 1,000만 개의 자유도를 가진 문제에 대해 성공적으로 적용되어 실용적인 스케일러빌리티를 입증하였다.
• 모든 최솟값을 보장하지는 않지만, 확장 가능한 조건부 조건자와 결합할 경우 이 방법은 효율적이고 스케일러블하다.