[논문 리뷰] Linear Convergence of the Proximal Incremental Aggregated Gradient Method under Quadratic Growth Condition

Huigang Zhang|arXiv (Cornell University)|2017. 02. 27.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 강한 볼록성 가정 대신 더 약한 이차 성장 조건 하에서 Proximal Incremental Aggregated Gradient (PIAG) 방법의 전역 선형 수렴성을 확립한다. 함수 값과 반복값 오차를 동시에 추적하는 새로운 리아푸노프 함수를 구성함으로써, 저자들은 해 집합으로부터의 함수 값 오차와 반복값 거리 양쪽 모두에 대해 선형 수렴 속도를 증명하였으며, 이는 조건 수와 지연 파라미터에 명시적인 의존성을 보인다.

ABSTRACT

Under the strongly convex assumption, several recent works studied the global linear convergence rate of the proximal incremental aggregated gradient (PIAG) method for minimizing the sum of a large number of smooth component functions and a non-smooth convex function. In this paper, under extsl{the quadratic growth condition}--a strictly weaker condition than the strongly convex assumption, we derive a new global linear convergence rate result, which implies that the PIAG method attains global linear convergence rates in both the function value and iterate point errors. The main idea behind is to construct a certain Lyapunov function.

연구 동기 및 목표

• 이차 성장 조건 하에서 PIAG 방법의 전역 선형 수렴성을 확립함—강한 볼록성보다 더 약한 대안.
• 이전에 강한 볼록성에 의존해 온 수렴 결과를 강한 볼록성이 성립하지 않는 더 넓은 문제 클래스로 확장함.
• 단일 리아푸노프 함수를 통해 함수 값 수렴과 반복값 오차 수렴을 통합 분석함.
• 조건 수와 지연 파라미터에 대한 의존성을 명시적으로 도출함으로써, 이전 결과와 일관된 선형 수렴 속도를 도출함.

제안 방법

• 함수 값 오차와 해 집합으로부터의 제곱 거리의 조합을 포함하는 리아푸노프 함수를 구성함.
• 함수 값 오차와 반복값 오차 항을 가중치 합으로 조합하여 복합 잠재 함수를 형성함.
• 프록시 스텝 오차의 매개변수화된 분해를 활용하여, 기울기 지연이 포함된 항들을 분리하고 경계함.
• 리아푸노프 함수를 포함하는 재귀 부등식을 유도함—지연된 기울기에서 유래하는 교란 항을 포함함.
• 이산 리아푸노프 보조정리를 적용하여, 단계 크기 조건 하에 잠재 함수의 선형 감쇠를 확보함.
• 베르누이의 부등식과 대수적 변환을 사용하여, 조건 수와 지연에 대한 최종 선형 수렴 속도를 유도함.

실험 결과

연구 질문

• RQ1 이차 성장 조건 하에서 PIAG 방법이 강한 볼록성보다 엄밀히 더 약한 조건에서도 전역 선형 수렴을 달성할 수 있는가?
• RQ2 단일 리아푸노프 함수가 동시에 함수 값 수렴과 반복값 오차 수렴을 포괄할 수 있는가?
• RQ3 선형 수렴 속도가 조건 수와 지연 파라미터에 대해 명시적으로 어떻게 의존하는가?
• RQ4 강한 볼록성 하에서의 이전 결과와 비교해 수렴 속도는 어떻게 되는가?
• RQ5 지나치게 복잡한 가정을 피함으로써 이전 연구들에 비해 분석을 단순화할 수 있는가?

주요 결과

• PIAG 방법은 이차 성장 조건 하에서 함수 값 오차와 해 집합으로부터의 반복값 거리 양쪽 모두에 대해 전역 선형 수렴성을 확보한다.
• 수렴 속도는 선형이며, 조건 수에 대해 선형적으로, 지연 파라미터에 대해 제곱적으로 의존한다.
• 속도는 $ 1 - \frac{\alpha\beta}{1 + \alpha\beta} $ 로 명시적으로 경계되며, 여기서 $ \alpha $ 는 단계 크기이고 $ \beta $ 는 이차 성장 파라미터이다.
• 지연 $ \tau < 47 $ 인 경우, 이 속도는 강한 볼록성 하에서 이전 연구들이 도출한 최고의 결과를 회복한다.
• 분석 결과, 함수 값과 반복값 오차 간의 관계는 유도된 경계를 초월해 수렴 속도를 향상시킬 수 없다는 것이 드러났다.
• 최종 수렴 속도는 $ \Psi(x_k) \leq \left(1 - \frac{1}{\eta(\tau+2)(\tau+1)}\right)^k \Psi(x_0) $ 로 나타나며, 여기서 $ \eta = \frac{L}{\beta} $ 이다.