[논문 리뷰] Adaptive Step Sizes in Variance Reduction via Regularization

Bingcong Li, Georgios B. Giannakis|arXiv (Cornell University)|2019. 10. 15.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 일반적인 볼록 및 비볼록 유한합 최적화 문제에서 바르지라이-보르위엔(BB) 스텝 크기를 가능하게 하기 위해 정규화 기반 접근법을 제안한다. 이는 일반적으로 BB가 작동하기 위해 강한 볼록성이 필요로 하는 문제를 해결한다. 단순한 이차 정규화항을 추가함으로써 원래 문제를 강한 볼록성의 대체 문제로 변환함으로써 BB 스텝 크기를 안전하고 효과적으로 적용할 수 있게 되었으며, 이는 기존의 순수한 SARAH 및 기타 적응형 방법보다 향상된 수렴 복잡도와 경험적 성능을 달성한다.

ABSTRACT

The main goal of this work is equipping convex and nonconvex problems with Barzilai-Borwein (BB) step size. With the adaptivity of BB step sizes granted, they can fail when the objective function is not strongly convex. To overcome this challenge, the key idea here is to bridge (non)convex problems and strongly convex ones via regularization. The proposed regularization schemes are extit{simple} yet effective. Wedding the BB step size with a variance reduction method, known as SARAH, offers a free lunch compared with vanilla SARAH in convex problems. The convergence of BB step sizes in nonconvex problems is also established and its complexity is no worse than other adaptive step sizes such as AdaGrad. As a byproduct, our regularized SARAH methods for convex functions ensure that the complexity to find $\mathbb{E}[\| abla f(\mathbf{x}) \|^2]\leq ε$ is ${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$, improving $ε$ dependence over existing results. Numerical tests further validate the merits of proposed approaches.

연구 동기 및 목표

• 바르지라이-보르위엔(BB) 스텝 크기의 한계를 해결한다. 이는 강한 볼록성이 필요로 하며 일반적인 볼록 또는 비볼록 설정에서는 실패한다.
• 정규화를 통해 비볼록 및 볼록 문제를 강한 볼록 문제로 다가가 BB 스텝 크기를 적용 가능하게 한다.
• 특히 ε-의존성 측면에서, 볼록 설정에서 분산 감소 방법(SARAH 등)의 수렴 복잡도를 향상시킨다.
• AdaGrad와 같은 적응형 방법과 비교하여, 비볼록 문제에서 BB 스텝 크기의 이론적 수렴 보장을 확립한다.
• 로지스틱 회귀 및 비볼록 손실 함수에 대한 수치 실험을 통해 제안된 방법을 경험적으로 검증한다.

제안 방법

• 목적 함수에 μs(x − x̃s−1) 항을 추가하는 재귀적 이차 정규화 체계를 도입하여, 이를 강한 볼록성의 대체 문제로 변환한다.
• 정규화된 함수 f̃s(x) = f(x) + ½μs‖x − x̃s−1‖²에 대해 BB 스텝 크기를 적용함으로써 잘 정의되고 안정된 스텝 크기를 보장한다.
• SARAH 알고리즘을 분산 감소 방법의 기반으로 사용하며, BB 스텝 크기를 정규화된 부분문제에 적응시킨다.
• 대체 함수의 기울기 노름에 기반하여 정규화 매개수 μs에 대한 재귀적 갱신 규칙을 유도한다.
• 이전 정규화된 부분문제에서의 전체 기울기 계산을 재사용하여 중복 평가를 방지하는 효율적인 체계를 구현한다.
• 볼록 및 비볼록 케이스 모두에 대해 수렴 복잡도의 경계를 확립하여, 이전 연구 대비 향상된 ε-의존성을 보여준다.

실험 결과

연구 질문

• RQ1 강한 볼록성이 요구되지 않는 볼록 및 비볼록 유한합 문제에 대해 BB 스텝 크기를 효과적으로 적용할 수 있는가?
• RQ2 일반적인 (비)볼록 문제를 BB 스텝 크기 사용이 가능한 강한 볼록 문제로 변환할 수 있는 정규화 전략은 무엇인가?
• RQ3 제안된 BB-SARAH의 수렴 복잡도는 볼록 설정에서 기존의 순수한 SARAH 및 AdaGrad와 같은 기타 적응형 방법과 비교해 어떻게 되는가?
• RQ4 제안된 정규화 하에 비볼록 유한합 문제에서 BB 스텝 크기의 이론적 수렴 행동은 어떠한가?
• RQ5 제안된 방법은 기존의 SARAH 및 AdaGrad 또는 수정된 BB-SARAH와 같은 적응형 방법보다 더 뛰어난 경험적 성능을 달성할 수 있는가?

주요 결과

• 제안된 정규화된 SARAH 방법은 볼록 문제에서 E[‖∇f(x)‖²] ≤ ε 를 만족하는 해를 찾는 데 O((n + 1/√ε) ln(1/ε)) 의 수렴 복잡도를 달성하며, 이는 기존 결과 대비 ε-의존성에서 향상된 결과이다.
• 볼록 문제에서 정규화를 통한 BB 스텝 크기 적용은 순수한 SARAH와 동일한 추가 복잡도 없이 이루어지며, 수렴 속도 측면에서 '무료 식사'를 제공한다.
• 비볼록 문제에서는 제안된 BB-SARAH 방법의 수렴 복잡도가 AdaGrad와 유사하며, 다른 적응형 스텝 크기보다 열 劣하지 않다.
• a3a 데이터셋에 대한 수치 결과는, 특히 Alg. 3 v2와 같은 정규화 체계가 볼록 및 비볼록 설정에서 순수한 SARAH보다 뚜렷이 뛰어난 성능을 보임을 보여준다.
• Ma 등(2018)의 수정된 BB 스텝 크기 및 AdaGrad는 초기 반복 단계에서 빠르게 수렴하지만, 최종 수렴 단계에서는 제안된 방법에 밀린다.
• 구현 전략은 이전 부분문제에서 계산된 전체 기울기 계산을 재사용하여 계산 오버헤드를 줄이고 효율적인 재귀적 갱신을 가능하게 한다.