[논문 리뷰] An iteration count estimate for a mesh-dependent steepest descent method based on finite elements and Riesz inner product representation

Tobias Schwedes, Simon W. Funke외 1명|arXiv (Cornell University)|2016. 06. 26.

Advanced Numerical Methods in Computational Mathematics참고 문헌 9인용 수 12

한 줄 요약

이 논문은 힐버트 공간 최적화 문제의 유한요소 해석에서 ℓ² 내적을 사용할 때 메쉬에 의존하는 경사 하강법의 반복 횟수에 대한 분석적 추정치를 유도한다. 메쉬 비균일성에 따라 반복 횟수가 다항식적으로 증가하는 것을 보이며, 리프스 표현된 $L^2$ 내적을 사용할 경우 정확히 한 번의 반복만으로 수렴함을 보인다.

ABSTRACT

Existing implementations of gradient-based optimisation methods typically assume that the problem is posed in Euclidean space. When solving optimality problems on function spaces, the functional derivative is then inaccurately represented with respect to $\ell^2$ instead of the inner product induced by the function space. This error manifests as a mesh dependence in the number of iterations required to solve the optimisation problem. In this paper, an analytic estimate is derived for this iteration count in the case of a simple and generic discretised optimisation problem. The system analysed is the steepest descent method applied to a finite element problem. The estimate is based on Kantorovich's inequality and on an upper bound for the condition number of Galerkin mass matrices. Computer simulations validate the iteration number estimate. Similar numerical results are found for a more complex optimisation problem constrained by a partial differential equation. Representing the functional derivative with respect to the inner product induced by the continuous control space leads to mesh independent convergence.

연구 동기 및 목표

• 유한요소 해석된 함수 공간 최적화 문제에서 잘못된 내적(ℓ²)을 사용할 경우 경사 기반 최적화의 계산 비용을 정량화하는 것.
• 기능 도함수를 연속 함수 공간 내적 대신 ℓ²에 대해 표현할 경우 메쉬 의존성이 발생하는 이유를 보여주는 것.
• 일반적인 유한요소 설정에서 ℓ² 내적을 사용한 경사 하강법의 반복 횟수에 대한 분석적 추정치를 도출하는 것.
• 단순한 $L^2$ 문제와 PDE 제약 최적화 문제에서 이론적 추정치를 수치 실험을 통해 검증하는 것.
• 올바른 힐베르트 공간 내적에 대한 리프스 표현된 기울기를 사용할 경우 수렴이 메쉬에 독립적임을 보여주는 것.

제안 방법

• 일반적인 힐베르트 공간 최적화 문제의 유한요소 해석에 대해 칸토로비치 부등식을 적용하여 경사 하강법의 수렴 속도를 경계한다.
• 메쉬 비균일성에 따른 갈레르킨 질량 행렬의 조건수 상한을 유도하여 반복 횟수의 의존도를 추정한다.
• 리프스 표현 정리를 사용하여 기능 도함수를 올바른 내적을 사용해 이중 공간에서 원래 함수 공간으로 매핑한다.
• ℓ² 내적을 사용한 경사 하강법(메쉬에 의존함)과 $L^2$ 내적을 사용한 경우(메쉬에 독립적임)의 수렴 행동을 비교한다.
• 포아송 방정식을 포함한 단순한 $L^2$ 최적화 문제와 PDE 제약 최적화 문제에서 이론적 추정치를 검증하기 위해 수치 실험을 수행한다.
• 표준 최적화 패키지(Scipy, TAO, IPOPT)와 메쉬에 독립적인 패키지(Moola)를 사용하여 다양한 내적 가정 하에서 반복 횟수를 비교한다.

실험 결과

연구 질문

• RQ1 ℓ² 내적을 $L^2$ 내적 대신 사용할 경우 유한요소 기반 경사 하강법의 반복 횟수에 어떤 영향을 미치는가?
• RQ2 유한요소 설정에서 메쉬에 의존하는 경사 하강법의 반복 횟수에 대해 분석적 추정치를 도출할 수 있는가?
• RQ3 ℓ² 내적을 사용할 경우 반복 횟수는 메쉬 비균일성에 어떻게 의존하는가?
• RQ4 올바른 힐베르트 공간 내적에 대한 리프스 표현된 기울기를 사용할 경우 수렴의 메쉬 의존성이 제거되는가?
• RQ5 표준 최적화 패키지(예: Scipy, IPOPT)는 비균일 메쉬에 적용되었을 때 반복 횟수 측면에서 어떻게 성능을 보이며, 이는 사용된 내적에 따라 달라지는가?

주요 결과

• ℓ² 내적을 사용한 경사 하강법의 반복 횟수는 메쉬의 최대 요소 크기와 최소 요소 크기의 비율 $h_{ ext{max}}/h_{ ext{min}}$에 따라 다항식적으로 증가한다.
• 동일한 문제에서 $L^2$ 내적에 대한 리프스 표현된 기울기를 사용할 경우, 메쉬 정밀도에 관계없이 정확히 한 번의 반복만으로 수렴한다.
• 수치 실험 결과 이론적 추정치를 확인한다: $L^2$ 문제에서 $h_{ ext{max}}/h_{ ext{min}}$가 4에서 128로 증가할 경우 반복 횟수가 4배에서 25배로 증가한다.
• 표준 최적화 패키지(예: Scipy, TAO, IPOPT)는 ℓ² 내적을 사용할 경우 강한 메쉬 의존성을 보이며, 비균일 메쉬에서 반복 횟수가 크게 증가한다.
• Moola의 BFGS 구현은 $H^1$ 내적을 존중하여 모든 테스트 비균일 메쉬에서 단 4회의 반복만으로 메쉬에 독립적인 수렴을 달성한다.
• 이 연구는 메쉬 독립성이 수학적 세련됨이 아니라, 비균일 메쉬를 사용한 대규모 최적화에서 계산 가능성을 확보하기 위한 핵심 조건임을 확인한다.