[논문 리뷰] Sequential convergence of AdaGrad algorithm for smooth convex optimization

Cheik Traoré, Edouard Pauwels|arXiv (Cornell University)|2020. 11. 24.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 32

한 줄 요약

이 논문은 AdaGrad가 스칼라 스텝과 좌표별 변형 모두에서 Lipschitz 그래디언트를 가지는 볼록 함수에 적용될 때 변수-메트릭 quasi-Fejér 단조성을 확립하여 수렴하는 반복점을 생성함을 증명한다. 이 결과는 경계된 도메인이 필요하지 않은 전역 최소값으로의 수렴을 보인다.

ABSTRACT

We prove that the iterates produced by, either the scalar step size variant, or the coordinatewise variant of AdaGrad algorithm, are convergent sequences when applied to convex objective functions with Lipschitz gradient. The key insight is to remark that such AdaGrad sequences satisfy a variable metric quasi-Fej\\'er monotonicity property, which allows to prove convergence.

연구 동기 및 목표

• 적응형 그래디언트 방법의 수렴 연구를 볼록 최적화에서 촉진한다.
• Lipschitz-gradient 및 최소점 도달 가정하에 AdaGrad 변형들이 전역 최소값으로 수렴하는 반복점을 생성한다.
• 수렴을 증명하기 위해 가변 메트릭 quasi-Fejér 단조성을 도입하고 활용한다.

제안 방법

• 두 가지 AdaGrad 변형을 분석한다: 스칼라 스텝 크기를 갖는 AdaGrad-Norm과 좌표별 업데이트를 갖는 AdaGrad를 분석한다.
• 두 수열이 유계이며 최소화 집합에 상대적인 가변- m-메트릭 quasi-Fejér 단조성 특성을 만족함을 보인다.
• L- Lipschitz 그래디언트에 대한 하강 보조정리와 누적 그래디언트 노름 상계들을 이용해 수렴을 증명한다.
• 그래디언트 노름의 합가능성(벨로그의 형태의 제시)을 보임으로써 반복점이 최솟값으로 수렴함을 확보한다.

실험 결과

연구 질문

• RQ1 F의 Lipschitz 그래디언트를 가지며 최소값을 달성하는 경우 AdaGrad-Norm 및 좌표별 업데이트를 이용한 AdaGrad의 수열이 수렴하는가?
• RQ2 가변 메트릭 quasi-Fejér 단조성을 이용해 경계가 정해진 도메인 가정 없이 적응형 그래디언트 방법의 반복점 수렴을 확립할 수 있는가?

주요 결과

• AdaGrad-Norm 및 AdaGrad는 F의 전역 최솟값으로 수렴하는 수열을 생성한다.
• 주어진 가정 하에서 그래디언트 노름이 합 가능하므로 반복점의 수렴을 시사한다.
• 이 분석은 경계된 도메인을 필요로 하지 않으며, 일부 선행 결과와 달리 그렇지 않다.
• AdaGrad의 좌표별 변형도 동일한 프레임워크에서 수렴한다.
• 수렴은 가변 메트릭 quasi-Fejér 단조성 및 관련 Lyapunov 유사 제어를 통해 확립된다.
• 결과는 Lipschitz-그래디언트를 가지는 볼록 함수와 최소점 도달이 보장되는 경우에 성립한다.