[논문 리뷰] Convergence of inertial dynamics and proximal algorithms governed by maximally monotone operators

Hédy Attouch, Juan Peypouquet|arXiv (Cornell University)|2017. 05. 10.

Optimization and Variational Analysis참고 문헌 20인용 수 3

한 줄 요약

이 논문은 최대 단조 연산자를 따르는 단조 포함 문제를 해결하기 위해 감쇠 계수가 점점 줄어들고 시간에 따라 변하는 Yosida 정규화를 갖는 이阶 관성 동역계를 제안한다. 이 시스템을 유한 차분 이산화하여 새로운 정규화된 관성 프락시 알고리즘을 도출하고, 저자들은 궤적의 약한 수렴성을 증명하며, 감쇠 속도와 가속도의 사라지는 속도를 명시적으로 도출한다. 또한 외란에 대한 강건성과 성장 조건이 만족될 경우 강한 수렴성을 확립한다.

ABSTRACT

We study the behavior of the trajectories of a second-order differential equation with vanishing damping, governed by the Yosida regularization of a maximally monotone operator with time-varying index, along with a new {\em Regularized Inertial Proximal Algorithm} obtained by means of a convenient finite-difference discretization. These systems are the counterpart to accelerated forward-backward algorithms in the context of maximally monotone operators. A proper tuning of the parameters allows us to prove the weak convergence of the trajectories to zeroes of the operator. Moreover, it is possible to estimate the rate at which the speed and acceleration vanish. We also study the effect of perturbations or computational errors that leave the convergence properties unchanged. We also analyze a growth condition under which strong convergence can be guaranteed. A simple example shows the criticality of the assumptions on the Yosida approximation parameter, and allows us to illustrate the behavior of these systems compared with some of their close relatives.

연구 동기 및 목표

• 점점 줄어드는 감쇠 계수와 시간에 따라 변하는 Yosida 정규화를 갖는 이阶 관성 동역계의 점근적 행동을 분석한다.
• 연속 시스템의 유한 차분 이산화를 통해 새로운 정규화된 관성 프락시 알고리즘을 개발한다.
• 적절한 매개변수 조정 하에 포함 문제의 해로 궤적이 약한 수렴성을 보임을 확립한다.
• 궤적을 따라 속도와 가속도가 점점 사라지는 속도를 정량화한다.
• 외란에 대한 강건성과 강한 수렴이 이루어지는 조건을 조사한다.

제안 방법

• 최대 단조 연산자 A의 시간에 따라 변하는 Yosida 정규화 Aλ(t)와 감쇠 계수가 α/t인 이阶 미분 방정식을 수립한다.
• 시간에 따라 변하는 에너지 함수를 사용한 리아푸노프 분석을 적용하여 수렴 행동를 추적한다.
• 연속 시스템의 편미분 이산화를 통해 새로운 정규화된 관성 프락시 알고리즘을 유도한다.
• Yosida 정규화 매개변수 λ(t)를 조정하여 수렴성과 안정성을 확보한다.
• 푸비니 정리와 수열의 합계 가능성을 활용하여 에너지 감쇠를 유 bounds 하고 수렴성을 증명한다.
• 특정 성장 조건을 만족할 경우 강한 수렴이 성립하는 조건을 확립한다.

실험 결과

연구 질문

• RQ1 감쇠 계수가 점점 줄어들고 시간에 따라 변하는 Yosida 정규화를 갖는 관성 시스템의 궤적이 최대 단조 연산자의 영으로 약하게 수렴하는 조건은 무엇인가?
• RQ2 시간이 무한히 흐를수록 궤적의 속도와 가속도가 사라지는 속도는 어떻게 되는가?
• RQ3 제안된 정규화된 관성 프락시 알고리즘은 기존의 가속화 방법과 비교해 수렴성과 강건성 측면에서 어떻게 다를까?
• RQ4 알고리즘의 계산 오류나 외란이 존재할 경우 수렴 성질이 유지되는가?
• RQ5 어떤 성장 조건이 궤적이 강하게 수렴하도록 보장하는가?

주요 결과

• α > 3일 경우, 최대 단조 연산자의 영으로 궤적이 약하게 수렴함이 입증된다.
• 에너지 함수의 수렴 속도는 o(1/t²)이며, 기존 방법보다 향상된다.
• 궤적의 속도와 가속도는 각각 o(1/t)와 o(1/t²)의 속도로 사라진다.
• 시간에 대해 적분 가능한 외란이나 계산 오차가 존재하더라도 수렴성이 유지된다.
• 특정 성장 조건을 만족할 경우 강한 수렴이 보장되며, 이 조건이 Yosida 매개변수 선택의 중요성을 보여주는 반례가 제시된다.
• 연속 시스템에서 유도된 새로운 이산 알고리즘이 수렴 성질을 그대로 이어받으며, 최적의 수렴 속도를 달성한다.