[논문 리뷰] Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution

Hédy Attouch, Szilárd Csaba László|arXiv (Cornell University)|2021. 04. 24.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 8

한 줄 요약

이 논문은 볼록 최적화 문제의 최소 노름 해로의 빠른 강한 수렴을 가능하게 하는 새로운 관성 동역학과 이를 위한 1차 알고리즘을 제안한다. 이 방법은 점점 사라지는 Tikhonov 정규화와 정규화 매개변수의 제곱근에 비례하는 감쇠를 조합하여, 최소 노름 해로의 강한 수렴을 보장한다. 이는 Nesterov의 가속 경사 방법을 개선한 것으로, 최적 값으로의 빠른 수렴과 최소 노름 최소화자로의 수렴을 동시에 확보한다.

ABSTRACT

In a Hilbertian framework, for the minimization of a general convex differentiable function $f$, we introduce new inertial dynamics and algorithms that generate trajectories and iterates that converge fastly towards the minimizer of $f$ with minimum norm. Our study is based on the non-autonomous version of the Polyak heavy ball method, which, at time $t$, is associated with the strongly convex function obtained by adding to $f$ a Tikhonov regularization term with vanishing coefficient $ε(t)$. In this dynamic, the damping coefficient is proportional to the square root of the Tikhonov regularization parameter $ε(t)$. By adjusting the speed of convergence of $ε(t)$ towards zero, we will obtain both rapid convergence towards the infimal value of $f$, and the strong convergence of the trajectories towards the element of minimum norm of the set of minimizers of $f$. In particular, we obtain an improved version of the dynamic of Su-Boyd-Candès for the accelerated gradient method of Nesterov. This study naturally leads to corresponding first-order algorithms obtained by temporal discretization. In the case of a proper lower semicontinuous and convex function $f$, we study the proximal algorithms in detail, and show that they benefit from similar properties.

연구 동기 및 목표

• 해결 집합이 유일하지 않은 경우에도 볼록 최적화 문제에서 최소 노름 해로의 빠른 수렴을 달성하는 데 도전한다.
• 표준 가속 경사 방법의 한계를 극복한다. 이는 최소화자로 수렴하지만 반드시 최소 노름 최소화자가 아니라는 점이다.
• Tikhonov 정규화를 관성 동역학과 통합하여, 빠른 수렴과 최소 노름 해로의 강한 수렴을 균형 잡는다.
• 시간 이산화 과정에서도 바람직한 수렴 성질을 유지하는 연속 시간 동역학과 그 이산 시간 병렬체를 개발한다.
• Moreau 포락선과 프록시멀 알고리즘을 통해 비미분 가능 볼록 함수로의 프레임워크 확장을 도모하며, 수렴 보장을 유지한다.

제안 방법

• 시간에 따라 점점 사라지는 Tikhonov 정규화 매개변수 ε(t)와 감쇠 계수 δ√ε(t)를 갖는 비자율 2차 동역학(TRIGS)을 제안한다.
• 리아푸노프 기반 분석을 통해 fₜ가 μ-강하게 볼록일 경우 일시적 단계에서 목적 함수 오차 f(x(t)) − min f = O(e^−√μ t)의 지수 감쇠를 증명한다.
• 시간 이산화를 적용하여 비미분 가능 볼록 함수에 대한 관성 프록시멀 알고리즘(IPATRE-NS)을 도출한다. 이는 Moreau 포락선 fₗₐₘb𝒹a를 사용한다.
• 이산 수열의 안정성과 수렴성을 보장하기 위해 외삽 단계에서 α > 3인 리듬 조절 매개변수를 도입한다.
• 프록시멀 미적분 항등식을 활용하여 이산 알고리즘을 원래 함수 f와 그 프록시멀 매핑의 형태로 표현한다.
• 점점 사라지는 Tikhonov 정규화의 계층적 최소화 성질을 이용하여 최소 노름 최소화자로의 강한 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 점점 사라지는 Tikhonov 정규화를 갖는 관성 동역학은 최적 값으로의 빠른 수렴과 최소 노름 해로의 강한 수렴을 동시에 달성할 수 있는가?
• RQ2 시간이 지남에 따라 감쇠 계수와 정규화 매개변수를 어떻게 조정해야 최적 수렴 속도와 최소 노름 최소화자로의 수렴을 균형 있게 확보할 수 있는가?
• RQ3 연속 시간 동역학을 이산화하여 연속 시스템의 수렴 성질을 유지하는 1차 알고리즘으로 변환할 수 있는가?
• RQ4 비미분 가능 볼록 함수에 대해서는 수렴 속도와 최소 노름 해로의 강한 수렴 성질이 어느 정도 유지되는가?
• RQ5 이러한 방법은 Nesterov의 가속 경사 방법과 기타 관성 체계와 비교해 수렴 속도와 해의 품질 측면에서 어떻게 우월한가?

주요 결과

• 제안된 동역학(TRIGS)은 fₜ가 μ-강하게 볼록일 경우 일시적 단계에서 f(x(t)) − min f = O(e^−√μ t)임을 보장한다.
• ε(t) → 0 이고 ∫₀^∞ ε(t) dt = ∞ 를 만족할 경우, 연속 궤적 x(t)는 t → ∞ 일 때 최소 노름 해 argmin f로 강한 수렴을 이룬다.
• 이산 관성 프록시멀 알고리즘(IPATRE-NS)은 α > 3 조건 하에 f(prox_λf(xₖ)) − min f 에 대해 o(k^−2s) 수렴 속도를 달성한다. 여기서 s ∈ [1/2, 1)이다.
• 수열 (xₖ) 는 ∑ₖ k^{2s−1} (f(prox_λf(xₖ)) − min f) < ∞ 를 만족하여 오차 감쇠가 합계 가능하다는 것을 나타낸다.
• 수열이 최종적으로 구 B(0, ||x*||) 내부 또는 외부에 있을 경우, 반복 수렴 (xₖ) 는 최소 노름 최소화자 x*로 강한 수렴을 이룬다.
• 이 방법은 Nesterov의 가속 경사 방법보다 개선된 것으로, 단지 어떤 최소화자로의 수렴이 아니라 최소 노름 최소화자로의 강한 수렴을 보장한다.