[논문 리뷰] General Proximal Incremental Aggregated Gradient Algorithms: Better and Novel Results under General Scheme

Tao Sun, Yuejiao Sun외 2명|arXiv (Cornell University)|2019. 10. 11.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 비볼록 목표 함수, 더 큰 스텝사이즈, 노이즈에 강건한 특성을 허용함으로써 기존 방법을 확장하는 일반적인 프록시멀 인크리멘탈 애그리게이티드 그래디언트(PIAG) 알고리즘을 제안한다. 비볼록 함수에 대한 서브라인어 수렴 속도와 일반 조건 하에서 더 큰 스텝사이즈로 선형 수렴 속도를 포함한 새로운 수렴 결과를 확립하여, 이전 연구에서 강볼록성과 작은 스텝사이즈를 요구했던 한계를 초월한다.

ABSTRACT

The incremental aggregated gradient algorithm is popular in network optimization and machine learning research. However, the current convergence results require the objective function to be strongly convex. And the existing convergence rates are also limited to linear convergence. Due to the mathematical techniques, the stepsize in the algorithm is restricted by the strongly convex constant, which may make the stepsize be very small (the strongly convex constant may be small). In this paper, we propose a general proximal incremental aggregated gradient algorithm, which contains various existing algorithms including the basic incremental aggregated gradient method. Better and new convergence results are proved even with the general scheme. The novel results presented in this paper, which have not appeared in previous literature, include: a general scheme, nonconvex analysis, the sublinear convergence rates of the function values, much larger stepsizes that guarantee the convergence, the convergence when noise exists, the line search strategy of the proximal incremental aggregated gradient algorithm and its convergence.

연구 동기 및 목표

• 강볼록성과 작은 스텝사이즈를 요구하는 기존 인크리멘탈 그래디언트 방법의 한계를 해결하기 위해.
• 일반적, 비볼록, 노이즈 있는 설정에 적용 가능한 프록시멀 인크리멘탈 애그리게이티드 그래디언트 알고리즘의 통합 프레임워크를 개발하기 위해.
• 이전에 가능했던 것보다 더 넓은 조건 하에서 수렴성 및 수렴 속도 결과를 확립하기 위해.
• 리프시츠 상수의 사전 지식이 없이도 수렴을 보장하는 선색색 전략을 도입하기 위해.

제안 방법

• 지연되고 노이즈가 있는 그래디언트 근사값을 사용하는 일반 PIAG 알고리즘을 제안하며, $ v^k = \sum_{i=1}^m \nabla f_i(x^{k-\tau_{i,k}}) + e^k $ 로 표현된다.
• 일반 볼록성과 비볼록성 조건 하에서 수렴 분석을 위해 새로운 리아푸노프 함수 $ F_k(\varepsilon,t) $ 를 도입한다.
• 내림값 조건에 기반해 스텝사이즈를 적응적으로 선택하는 선색색 전략을 활용하여, 알려진 리프시츠 상수에 의존하지 않는다.
• 지연 $ \tau_{i,k} $, 노이즈 $ e^k $, 그리고 $ x^{k+1} = \text{prox}_{\gamma_k g}[x^k - \gamma_k v^k] $ 를 통한 프록시멀 업데이트를 포함하는 일반적 구조를 사용한다.
• 기술적 레마를 적용하여 목적 함수의 감소를 바ounds하고 재귀 부등식을 통해 수렴성을 확립한다.
• 리아푸노프 함수의 감쇠 분석과 지연에 따른 그래디언트 오차 합의 유계성 분석을 통해 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 강볼록성이 요구되지 않는 비볼록 목표 함수에 대해 일반 PIAG 알고리즘이 수렴성을 확보할 수 있는가?
• RQ2 일반 PIAG 프레임워크에서 수렴을 보장할 수 있는 최대 허용 스텝사이즈는 얼마인가?
• RQ3 지연과 노이즈는 인크리멘탈 애그리게이티드 그래디언트 방법의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 리프시츠 상수의 사전 지식이 없이도 수렴을 보장하는 선색색 전략을 PIAG에 설계할 수 있는가?
• RQ5 제안된 프레임워크 하에서 일반 볼록 및 비볼록 케이스에서 달성 가능한 수렴 속도는 무엇인가?

주요 결과

• 논문은 강볼록성이 요구되지 않는 일반 볼록 케이스에서도 목적 함수 값에 대해 서브라인어 수렴 속도를 증명한다.
• 이전에 가능했던 것보다 더 큰 스텝사이즈로 선형 수렴이 확립되어, 강볼록성 상수에 대한 의존성을 깨뜨린다.
• 비볼록성 조건 하에서도 수렴성이 증명되어, PIAG의 적용 범위를 강볼록 문제를 초월하여 확장한다.
• 노이즈가 존재하는 상황에서도 알고리즘이 수렴하며, 유계 노이즈 가정 하에 수렴 속도가 유지된다.
• 선색색 전략이 제안되고, 이는 리프시츠 상수의 사전 지식 없이도 수렴을 보장함으로써 적응형 스텝사이즈 선택을 가능하게 한다.
• 기존에 없었던 새로운 수렴 결과를 확립하였으며, 그래디언트 오차 감쇠의 경계와 반복값이 정류점으로 수렴하는 것을 포함한다.