[논문 리뷰] On the Convergence of SARAH and Beyond

Bingcong Li, Meng Ma외 1명|arXiv (Cornell University)|2019. 06. 05.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 기계학습에서 유한합 문제를 최소화하기 위한 새로운 분산 감소 알고리즘인 L2S(Loopless SARAH)를 소개한다. 재귀적 그래디언트 추정기와 통합 분석 프레임워크를 활용하여 L2S는 최적의 수렴 속도를 달성한다: 강凸 문제의 경우 O((n+κ)ln(1/ε))이며, 볼록 및 비볼록 문제의 경우 O(n + √n/ε)이다. 이는 n에 의존하지 않는 스텝 사이즈를 사용하여 수렴성이 보장되며, SARAH의 핵심 한계를 해결한다.

ABSTRACT

The main theme of this work is a unifying algorithm, extbf{L}oop extbf{L}ess extbf{S}ARAH (L2S) for problems formulated as summation of $n$ individual loss functions. L2S broadens a recently developed variance reduction method known as SARAH. To find an $ε$-accurate solution, L2S enjoys a complexity of ${\cal O}\big( (n+κ) \ln (1/ε)\big)$ for strongly convex problems. For convex problems, when adopting an $n$-dependent step size, the complexity of L2S is ${\cal O}(n+ \sqrt{n}/ε)$; while for more frequently adopted $n$-independent step size, the complexity is ${\cal O}(n+ n/ε)$. Distinct from SARAH, our theoretical findings support an $n$-independent step size in convex problems without extra assumptions. For nonconvex problems, the complexity of L2S is ${\cal O}(n+ \sqrt{n}/ε)$. Our numerical tests on neural networks suggest that L2S can have better generalization properties than SARAH. Along with L2S, our side results include the linear convergence of the last iteration for SARAH in strongly convex problems.

연구 동기 및 목표

• 볼록 문제에서 SARAH가 n에 의존하지 않는 스텝 사이즈를 사용할 때 이론적 보장이 부족한 문제를 해결한다.
• 분산 감소 방법에 대한 통합된 수렴 분석을 제공하며, 특히 SARAH의 적용 가능성을 확장한다.
• 루프 구조나 추가 가정 없이 최적의 수렴 속도를 달성하는 새로운 알고리즘인 L2S를 개발한다.
• 강凸 설정에서 SARAH의 마지막 반복의 선형 수렴성을 확립한다.
• 딥 러닝 실험을 통해 L2S가 SARAH보다 더 우수한 일반화 성능을 보임을 보여준다.

제안 방법

• 주기적인 전체 그래디언트 계산 없이 재귀적 그래디언트 추정기를 사용하는 SARAH의 루프 없는 변종인 L2S를 제안한다.
• 텔레스코프 합 추론을 사용하여 재귀적 그래디언트 추정기의 분산을 제한하는 새로운 분석 기법을 도입한다.
• 수축 추론을 통해 기울기의 기대 노름을 분석하고 초깃오차와 연결함으로써 수렴 속도를 유도한다.
• 볼록 문제에서 n에 의존하지 않는 스텝 사이즈 정책을 사용하여 n에 의존하는 튜닝이 필요 없도록 한다.
• 이론적 보장을 바탕으로 볼록 및 비볼록 문제, 특히 신경망 학습에 이 방법을 적용한다.
• 내부 루프에서 반복을 균일하게 무작위 선택하여 ε-정확한 해로의 수렴을 보장하는 L2S를 구현한다.

실험 결과

연구 질문

• RQ1 루프 구조나 주기적인 전체 그래디언트 평가 없이 최적의 수렴 속도를 달성할 수 있는 분산 감소 방법을 설계할 수 있는가?
• RQ2 L2S는 볼록 문제에서 n에 의존하지 않는 스텝 사이즈를 허용하면서도 SARAH와 동일한 수렴 속도를 달성하는가?
• RQ3 강凸 문제에서 SARAH의 마지막 반복의 수렴 행동은 어떠한가?
• RQ4 딥 러닝 환경에서 L2S는 일반화 성능 측면에서 SARAH를 능가할 수 있는가?
• RQ5 볼록, 강凸, 비볼록 문제에 대해 L2S의 최적의 IFO 복잡도는 무엇인가?

주요 결과

• 강凸 문제에서 L2S는 O((n + κ)ln(1/ε))의 IFO 복잡도를 달성하며, 기존에 알려진 최고 수준의 속도와 일치한다.
• 볼凸 문제에서 L2S는 n에 의존하지 않는 스텝 사이즈를 사용하여 O(n + √n/ε)의 복잡도를 달성하며, SARAH에 비해 이론적 개선을 이룬다.
• 비볼凸 문제에서 L2S는 O(n + √n/ε)의 복잡도를 달성하며, 분산 감소 방법 중 최고 수준의 속도를 유지한다.
• 논문은 강凸 케이스에서 SARAH의 마지막 반복의 선형 수렴성을 증명하였으며, 이는 이전에 확립되지 않은 결과이다.
• 신경망에서의 수치 실험 결과 L2S가 SARAH보다 더 우수한 일반화 성능을 보이며 실용적 이점을 시사한다.
• 분석을 통해 L2S는 볼凸 문제에서 n에 의존하지 않는 스텝 사이즈를 지원하기 위해 추가 가정이 필요하지 않음을 확인하였다. 이는 이전 연구와 대조된다.