[논문 리뷰] Accelerated gradient methods combining Tikhonov regularization with geometric damping driven by the Hessian

Hédy Attouch, Aïcha Balhag외 2명|arXiv (Cornell University)|2022. 03. 10.

Numerical methods in inverse problems인용 수 2

한 줄 요약

이 논문은 힐버트 공간 내에서 볼록 최적화를 위한 Tikhonov 정규화와 헤시안 기반 감쇠를 조합한 새로운 감쇠된 관성 경량 동역학을 제안한다. 정규화 파라미터 ε(t)를 점차 0으로 감쇠시키고, 점성 감쇠 계수를 √ε(t)에 비례하도록 조정함으로써, 목적 함수 값과 기울기가 빠르게 0으로 수렴하는 동시에 최소 노름 최소화자로의 강한 수렴을 보장한다. 이는 표준 Nesterov 유형 방법보다 진동 제어와 수렴 속도 면에서 뛰어나다.

ABSTRACT

In a Hilbert setting, for convex differentiable optimization, we consider accelerated gradient dynamics combining Tikhonov regularization with Hessian-driven damping. The Tikhonov regularization parameter is assumed to tend to zero as time tends to infinity, which preserves equilibria. The presence of the Tikhonov regularization term induces a strong convexity property which vanishes asymptotically. To take advantage of the exponential convergence rates attached to the heavy ball method in the strongly convex case, we consider the inertial dynamic where the viscous damping coefficient is taken proportional to the square root of the Tikhonov regularization parameter, and therefore also converges towards zero. Moreover, the dynamic involves a geometric damping which is driven by the Hessian of the function to be minimized, which induces a significant attenuation of the oscillations. Under an appropriate tuning of the parameters, based on Lyapunov's analysis, we show that the trajectories have at the same time several remarkable properties: they provide fast convergence of values, fast convergence of gradients towards zero, and strong convergence to the minimum norm minimizer. This study extends a previous paper by the authors where similar issues were examined but without the presence of Hessian driven damping.

연구 동기 및 목표

• 볼록 최적화에서 수렴을 가속화하면서도 최소 노름 최소화자로의 강한 수렴을 보장하는 감쇠된 관성 동역학을 개발한다.
• 특히 진동과 기울기 수렴 속도 저하 문제를 야기하는 표준 Nesterov 유형 방법의 한계를 보완하기 위해 곡률 인식 감쇠를 도입한다.
• 강력한 볼록 문제에서의 지수 수렴 특성(Heavy Ball 방법)과 점차 정규화가 사라지는 점근적 약한 볼록 문제에 대한 Tikhonov 정규화의 이점을 통합한다.
• 비자명한 시스템에서 시간에 따라 변하는 감쇠와 정규화를 고려한 리아프노프 분석을 통해 이론적 수렴 보장을 수립한다.
• 부드럽지 않은 및 구조적 볼록 문제, 특히 '부드럽고 부드럽지 않은' 복합 최적화 문제로 이 프레임워크를 확장한다.

제안 방법

• 점성 감쇠 계수가 √ε(t)에 비례하고, Tikhonov 정규화 항 ε(t)x(t)가 존재하는 2차 감쇠 관성 동역학(TRISH)을 사용하여 점차 사라지는 강력한 볼록성을 보장한다.
• 헤시안 기반 감쇠 항 β∇²f(x(t))ẋ(t)을 도입하여 곡률 정보를 바탕으로 속도를 보정함으로써 진동을 능동적으로 감소시킨다.
• 리아프노프 함수 접근법을 통해 분석을 수행하며, f가 볼록이고 하부 연속일 경우 하위미분을 포함하는 1차 형식으로 변환된다.
• 시간에 따라 변하는 파라미터 ε(t)는 비증가이며 C¹이면서 limₜ→∞ ε(t) = 0를 만족한다. 이는 평형점을 유지하면서도 빠른 수렴을 가능하게 한다.
• 동역학은 이산화되어 수렴 속도가 빠른 알고리즘으로 이어지며, 최대 단조성 이론을 통해 해의 존재성과 유일성이 확립된다.
• 기울기를 하위미분으로 대체함으로써 부드럽지 않은 볼록 함수로의 확장을 도모하여 복합 및 구조 최적화 문제에의 적용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Tikhonov 정규화와 헤시안 기반 감쇠를 조합하여 볼록 최적화에서 수렴을 가속화하면서도 최소 노름 최소화자로의 강한 수렴을 보장할 수 있는가?
• RQ2 헤시안 기반 감쇠는 곡률이 낮거나 강력한 볼록이 아닌 문제에서 진동 감쇠에 어떻게 기여하는가?
• RQ3 특히 ε(t)와 δ에 대한 파라미터 조정 전략은 무엇이어야 하며, 목적 함수 값, 기울기, 반복값이 최소 노름 최소화자로 동시에 빠르게 수렴하도록 보장할 수 있는가?
• RQ4 비자명한, 정규화가 점차 사라지는 설정에서 Heavy Ball 방법의 지수 수렴 속도를 점차적으로 유지할 수 있는가?
• RQ5 이 동역학은 부드럽지 않은 및 복합 볼록 최적화 문제로 얼마나 넓게 확장될 수 있는가?

주요 결과

• 제안된 동역학(TRISH)은 목적 함수 값이 최소값으로 빠르게 수렴하며, 최적의 Nesterov 유형 수렴 속도에 가까워진다.
• 기울기 ∇f(x(t))는 매우 빠른 속도로 0으로 수렴하며, 이는 표준 가속 방법보다 뚜렷한 개선이다.
• 궤적은 최소 노름 해로의 강한 수렴을 보이며, 이는 표준 Nesterov 또는 Polyak 유형 방법에서는 보장되지 않는 성질이다.
• 헤시안 기반 감쇠 항은 국소 곡률에 따라 감쇠를 적응적으로 조절함으로써, 특히 곡률이 낮은 문제에서 진동을 효과적으로 억제한다.
• 강력한 볼록 영역에서는 지수 수렴 속도를 달성하며, ε(t) → 0을 통해 점차적으로 이러한 속도가 유지된다.
• 하위미분 형식을 통해 이론적 프레임워크는 부드럽지 않은 볼록 함수로 확장되며, 초기값 문제에 대한 강한 해의 존재성과 유일성이 보장된다.