[논문 리뷰] Fast Variance Reduction Method with Stochastic Batch Size

Xuanqing Liu, Cho‐Jui Hsieh|arXiv (Cornell University)|2018. 08. 07.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 메모리 계층 구조와 I/O 비용을 고려하여 실행 시간을 최소화하기 위해 배치 크기를 동적으로 최적화하는 변동성 감소 알고리즘인 SAGA++를 제안한다. 표준 SAGA와 달리, 데이터 접근 수를 최소화하는 것이 아니라 순차적 메모리 접근을 우선시함으로써 실질적으로 더 빠른 수렴 속도를 달성한다. SAGA++, SVRG, LIBLINEAR과 비교하여 적응형 배치 크기 선택과 빈번한 제어 변수 업데이트를 통해 실제 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper we study a family of variance reduction methods with randomized batch size---at each step, the algorithm first randomly chooses the batch size and then selects a batch of samples to conduct a variance-reduced stochastic update. We give the linear convergence rate for this framework for composite functions, and show that the optimal strategy to achieve the optimal convergence rate per data access is to always choose batch size of 1, which is equivalent to the SAGA algorithm. However, due to the presence of cache/disk IO effect in computer architecture, the number of data access cannot reflect the running time because of 1) random memory access is much slower than sequential access, 2) when data is too big to fit into memory, disk seeking takes even longer time. After taking these into account, choosing batch size of $1$ is no longer optimal, so we propose a new algorithm called SAGA++ and show how to calculate the optimal average batch size theoretically. Our algorithm outperforms SAGA and other existing batched and stochastic solvers on real datasets. In addition, we also conduct a precise analysis to compare different update rules for variance reduction methods, showing that SAGA++ converges faster than SVRG in theory.

연구 동기 및 목표

• 스토케스틱 배치 크기가 유한합 최적화에서 변동성 감소 수렴 속도에 미치는 영향을 분석하는 것.
• 캐시와 디스크 I/O와 같은 실제 계산 비용을 고려할 때 최적의 배치 크기 전략을 규명하는 것.
• 수렴 속도와 하드웨어 인식 효율성을 균형 잡는 실용적인 알고리즘을 개발하는 것.
• 실제 메모리 접근 제약 조건 하에서 SAGA++, SVRG, SAGA를 이론적·실험적으로 비교하는 것.
• 빈번한 제어 변수 업데이트와 순차적 접근 패턴이 최소 데이터 접근보다 더 빠른 실행 시간을 제공할 수 있음을 보여주는 것.

제안 방법

• 알고리즘은 랜덤화된 배치 크기를 사용하는 통합된 변동성 감소 프레임워크를 사용하며, 각 단계에서 기울기 계산 이전에 배치 크기를 확률적으로 선택한다.
• 임의의 배치 크기 분포를 가진 복합적이고 강력히 볼록인 문제에 대해 선형 수렴성을 증명하며, 배치 크기 1(SAGA)이 데이터 접근 수를 최소화함을 보여준다.
• 순차적 대비 랜덤 메모리 접근과 디스크 I/O 오버헤드를 고려한 하드웨어 인식 비용 모델링을 구현한다.
• SAGA++는 뿌리 데이터 접근 수가 아니라 실행 시간을 최소화하기 위해 최적의 평균 배치 크기를 동적으로 계산한다.
• ℓ₁-정규화 문제에 대해 게으른 업데이트를 구현하여 수렴 속도를 가속화하며, 표준 SAGA와 SVRG보다 효율성을 향상시킨다.
• SVRG의 순차적 접근 이점을 SAGA의 빈번한 제어 변수 업데이트와 융합하여 기울기 변동성을 감소시킨다.

실험 결과

연구 질문

• RQ1 실제 하드웨어 I/O 비용을 고려할 때, 배치 크기를 증가시키는 것이 변동성 감소 방법의 수렴 속도를 향상시키는가?
• RQ2 데이터 접근 수가 아니라 실행 시간을 최소화하는 데 최적의 배치 크기 전략은 무엇인가?
• RQ3 메모리 접근 제약 조건 하에서 업데이트 규칙의 선택(예: SAGA 대비 SVRG)이 수렴 속도에 어떤 영향을 미치는가?
• RQ4 순차적 접근과 빈번한 제어 변수 업데이트를 융합한 하이브리드 접근 방식이 기존 방법을 능가할 수 있는가?
• RQ5 캐시와 디스크 I/O 효과가 실질적으로 SAGA의 이론적 우월성을 무너뜨리는가?

주요 결과

• SAGA++는 kddb, avazu, criteo를 포함한 모든 테스트 데이터셋에서 SAGA, SVRG, LIBLINEAR보다 실행 시간 면에서 뛰어난 성능을 보였다.
• 비록 SAGA가 배치 크기 1을 사용해 데이터 접근 수를 최소화하지만, 랜덤 메모리 접근 오버헤드로 인해 실질적으로 최적은 아니다.
• SAGA++의 최적 평균 배치 크기는 순차적 접근 속도와 I/O 비용을 고려해 이론적으로 유도되었으며, 실행 시간을 최소화한다.
• SAGA++는 더 빈번한 제어 변수 업데이트 덕분에 이론적으로 SVRG보다 더 빠른 수렴 속도를 달성한다. 이는 기울기 변동성을 감소시키기 때문이다.
• 게으른 업데이트 기법은 ℓ₁-정규화 문제의 솔버 성능을 크게 향상시켜, SAGA++가 LIBLINEAR의 프록시 뉴턴 방법조차도 능가할 수 있도록 했다.
• kddb 데이터셋에서 SAGA++는 다양한 정규화 파라미터 설정에서도 경쟁자를 일관되게 능가하며, 강건성과 효율성을 입증했다.