[논문 리뷰] An Accelerated DFO Algorithm for Finite-sum Convex Functions

Yu-Wen Chen, Antonio Orvieto외 1명|arXiv (Cornell University)|2020. 07. 07.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 유한합 볼록 함수를 위한 유한차분 기반 최적화 알고리즘인 ZO-Varag를 제안한다. 이 알고리즘은 가우시안 스무딩과 동역학적 모멘텀을 결합함으로써 변동성 감소 기법을 통해 가속화된 수렴 속도를 달성한다. 매끄럽고 볼록한 경우와 강하게 볼록한 경우 모두에 대해 가속화된 수렴을 증명하였으며, 다양한 데이터셋에서의 실험을 통해 다양한 초모수 설정에서도 안정적인 성능을 입증하였다.

ABSTRACT

Derivative-free optimization (DFO) has recently gained a lot of momentum in machine learning, spawning interest in the community to design faster methods for problems where gradients are not accessible. While some attention has been given to the concept of acceleration in the DFO literature, existing stochastic algorithms for objective functions with a finite-sum structure have not been shown theoretically to achieve an accelerated rate of convergence. Algorithms that use acceleration in such a setting are prone to instabilities, making it difficult to reach convergence. In this work, we exploit the finite-sum structure of the objective in order to design a variance-reduced DFO algorithm that provably yields acceleration. We prove rates of convergence for both smooth convex and strongly-convex finite-sum objective functions. Finally, we validate our theoretical results empirically on several tasks and datasets.

연구 동기 및 목표

• 유한합 볼록 함수를 위한 이론적으로 가속화된 유한차분 기반 최적화 알고리즘을 설계한다.
• 기울기 접근이 불가능한 환경에서 스토케스틱 DFO 설정에서 모멘텀의 불안정성을 변동성 감소 기법으로 해결한다.
• 유한합 구조를 활용하여 기울기 접근 없이도 더 빠른 수렴 속도를 달성한다.
• 실세계 데이터셋에서 이론적 수렴 속도를 실험적으로 검증한다.

제안 방법

• 함수 평가를 통해 기울기를 추정하기 위해 가우시안 스무딩을 사용하여 명시적 도함수 계산을 피한다.
• Varag 프레임워크를 통해 변동성 감소를 적용하여 기울기 추정 노이즈를 줄인다.
• 모멘텀 파rameter $ p = 0.5 $를 사용한 Katyusha 스타일 업데이트를 통합하여 이론적 안정성을 확보한다.
• 함수 쿼리 사용을 효율적으로 하기 위해 이중점 스토케스틱 추정기법을 사용한다.
• 각 좌표별 수렴을 향상시키고 정체 현상을 줄이기 위해 좌표 기반 변형을 도입한다.
• 수렴을 향상시키기 위해 평균화 전략(옵션 I 및 옵션 II)을 사용하며, 실증적 결과는 실무에서 옵션 II(평균화 없음)가 더 빠른 수렴을 보임을 시사한다.

실험 결과

연구 질문

• RQ1 기울기 접근이 불가능한 환경에서 유한합 볼록 함수에 대해 유한차분 기반 알고리즘이 가속화된 수렴 속도를 달성할 수 있는가?
• RQ2 기울기 접근이 불가능한 환경에서 스토케스틱 DFO 설정에서 모멘텀을 어떻게 안정화할 수 있는가?
• RQ3 변동성 감소가 DFO 환경에서 수렴 속도와 안정성 향상에 어떤 역할을 하는가?
• RQ4 스무딩 파라미터 $ \nu $, 스텝 사이즈, 모멘텀 $ p $ 와 같은 초모수들이 수렴과 최종 비최적성에 어떤 영향을 미치는가?
• RQ5 알고리즘의 좌표 기반 변형이 실무에서 표준 버전보다 우월한 성능을 보이는가?

주요 결과

• ZO-Varag는 매끄럽고 볼록한 경우와 강하게 볼록한 경우 모두에 대해 이론적으로 최적의 수렴 속도를 달성한다.
• 이론적 분석에 따르면 $ p = 0.5 $를 사용할 경우 알고리즘의 수렴은 안정적이고 가속화된다.
• 실험 결과, 당뇨병 및 ijcnn1 데이터셋에서 옵션 II(평균화 없음)가 옵션 I(평균화 있음)보다 더 빠른 수렴을 보였다.
• 작은 스무딩 파라미터 $ \nu $ 는 특히 로지스틱 회귀에서 더 낮은 최종 비최적성을 유도하지만, 릿지 회귀에서는 영향이 미미하다.
• 스텝 사이즈 $ \alpha_s \gamma_s $ 는 정체 현상을 제어한다: 이를 줄일수록 최종 비최적성이 감소하지만 수렴 속도는 느려진다.
• 좌표 기반 변형은 실무에서 ZO-Varag와 거의 동일한 성능을 보이며, $ d $ 배 더 큰 스텝 사이즈로 인해 정체 오차에서 약간의 차이가 있다.