[논문 리뷰] Direct Acceleration of SAGA using Sampled Negative Momentum

Kaiwen Zhou|arXiv (Cornell University)|2018. 06. 28.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 11

한 줄 요약

이 논문은 유한합 복합 최적화 문제를 위한 SAGA의 직접적 가속화인 샘플링된 음성 운동량(Sampled Negative Momentum, SSNM)을 제안한다. 독립적인 샘플을 사용하는 새로운 음성 운동량 메커니즘을 도입함으로써, 강凸 문제에 대해 $\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$의 최고의 알려진 오рак루 복잡도를 달성하며, Katyusha와 MiG의 최신 기술 수준에 맞추어지며 SAGA의 낮은 메모리 오버헤드와 실용적 효율성을 유지한다.

ABSTRACT

Variance reduction is a simple and effective technique that accelerates convex (or non-convex) stochastic optimization. Among existing variance reduction methods, SVRG and SAGA adopt unbiased gradient estimators and are the most popular variance reduction methods in recent years. Although various accelerated variants of SVRG (e.g., Katyusha and Acc-Prox-SVRG) have been proposed, the direct acceleration of SAGA still remains unknown. In this paper, we propose a directly accelerated variant of SAGA using a novel Sampled Negative Momentum (SSNM), which achieves the best known oracle complexity for strongly convex problems (with known strong convexity parameter). Consequently, our work fills the void of directly accelerated SAGA.

연구 동기 및 목표

• 이전에 Katyusha와 MiG와 같은 가속된 SVRG 방법의 성능을 따라할 수 없었던 SAGA의 직접적 가속화에 격차를 메우기 위해.
• 간접적 가속 기법(예: 감소나 프록시티 포인트 방법)에 의존하지 않고, 강凸 유한합 문제에 대해 최고의 알려진 오라클 복잡도를 달성하는 방법을 개발하기 위해.
• 특히 조건수가 높아지면서 가속이 가장 유익한 불량조건 문제에서 빠른 수렴을 유지하면서도 낮은 메모리 복잡도를 확보하기 위해.
• 실제로 제안된 방법이 SAGA를 능가하고 Katyusha, MiG와 경쟁할 수 있음을 경험적으로 검증하기 위해, 특히 조건수 $\kappa$가 높은 설정에서의 성능을 평가하기 위해.

제안 방법

• 독립적인 샘플 $I_k$를 사용해 음성 운동량 항을 계산하는 새로운 운동량 메커니즘인 샘플링된 음성 운동량(SSNM)을 도입하며, 이는 경사 샘플 $i_k$와는 별개이다.
• SAGA 업데이트 규칙에 이전 반복값 $\tilde{x}_k$를 사용하는 음성 운동량 항 $\tau (x_k - \tilde{x}_k)$를 추가함으로써 수렴 속도를 가속화한다.
• 이중 샘플링 전략을 적용: 하나의 샘플 $i_k$는 확률적 경사를 계산하고, 다른 독립적인 샘플 $I_k$는 음성 운동량을 계산하여 분산 축적을 줄인다.
• 강凸 조건 하에서 이론적 수렴 속도를 유도하며, $\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$의 오라클 복잡도를 보이며, 최고의 알려진 수렴 속도와 일치함을 입증한다.
• 안정성과 수렴을 보장하기 위해 $\eta = \sqrt{1/(3\mu n L)}$ 및 $\tau = \frac{n\eta\mu}{1 + \eta\mu}$의 파라미터 설정을 사용한다.
• Hadrien Hendrikx의 통찰을 활용해 메모리 복잡도를 감소시켜, 이전 AISTATS 버전에서의 높은 메모리 비용을 피한다.

실험 결과

연구 질문

• RQ1 Katyusha의 음성 운동량과 유사한 운동량 메커니즘을 사용해 SAGA를 간접적인 감소 기법 없이 직접적으로 가속화할 수 있는가?
• RQ2 음성 운동량 계산에 경사 샘플 $i_k$를 재사용하는 대신 독립적인 샘플 $I_k$를 사용할 경우, 안정성과 수렴 속도가 향상되는가?
• RQ3 제안된 가속된 SAGA 변형의 이론적 오라클 복잡도는 무엇이며, 강凸 문제에 대해 알려진 최고의 수렴 속도와 일치하는가?
• RQ4 실제 성능에서 SSNM은 SAGA, Katyusha, MiG와 비교해 어떻게 되는가? 특히 조건수 $\kappa$가 높은 불량조건 문제에서의 성능을 평가한다.
• RQ5 제안된 방법은 낮은 메모리 복잡도를 유지하면서도 빠른 수렴을 달성할 수 있는가? 이는 대규모 머신러닝 응용 분야에 적합한가?

주요 결과

• SSNM는 강凸 문제에 대해 $\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$의 최고의 알려진 오라클 복잡도를 달성하며, Katyusha와 MiG의 수렴 속도와 일치한다.
• 조건수 $\lambda = 10^{-8}$를 가진 covtype 데이터셋에서, 동일한 이론적 수렴 속도를 가짐에도 불구하고 SSNM는 에포크 수 기준으로 Katyusha와 MiG보다 유의미하게 더 빠르게 수렴한다.
• 조건수 $\kappa$가 10배 증가할 경우, 모든 가속된 방법이 동일한 정확도에 도달하기 위해 약 $\sqrt{10}$배 더 많은 오라클 호출이 필요함을 확인하여, $\sqrt{\kappa}$ 의존성의 타당성을 입증한다.
• SAGA의 성능은 조건수 $\kappa$가 증가함에 따라 심각하게 악화되며, 이는 불량조건 설정에서의 가속화의 유용성을 강조한다.
• 같은 경사 샘플 $i_k$를 음성 운동량 계산에 재사용할 경우(독립적인 샘플 $I_k$ 대신), 수렴 속도가 느리고 불안정해지므로, 독립 샘플링이 분산 축적을 줄이는 데 기여함을 시사한다.
• SSNM의 수렴은 다른 방법들에 비해 다소 불안정한 편이며, 이는 이중 샘플링 메커니즘이 반복당 불확실성을 증가시켜서일 가능성이 있다.