[논문 리뷰] Faster SGD Using Sketched Conditioning

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|2015. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 스케칭을 사용하여 데이터 상관행렬 $ C $의 제곱근인 조절행렬 $ A = C^{1/2} $를 효율적으로 계산함으로써 SGD의 수렴 속도를 높이는 스케칭 기반 조절형 확률적 경사하강법(Sketching-based Conditioned Stochastic Gradient Descent, SCSGD)을 제안한다. 이 방법은 볼록 및 비볼록 설정 모두에서 수렴 속도를 크게 향상시키며, MNIST 및 SVHN 데이터셋에서 표준 SGD에 비해 더 빠른 훈련 및 테스트 오차 감소를 보여주는 실험 결과를 제시한다.

ABSTRACT

We propose a novel method for speeding up stochastic optimization algorithms via sketching methods, which recently became a powerful tool for accelerating algorithms for numerical linear algebra. We revisit the method of conditioning for accelerating first-order methods and suggest the use of sketching methods for constructing a cheap conditioner that attains a significant speedup with respect to the Stochastic Gradient Descent (SGD) algorithm. While our theoretical guarantees assume convexity, we discuss the applicability of our method to deep neural networks, and experimentally demonstrate its merits.

연구 동기 및 목표

• 대규모 경험적 리스크 최소화 문제에서 확률적 경사하강법(SGD)을 가속화하기 위해.
• 반복 단계의 비용을 증가시키지 않으면서도 수렴 속도를 향상시키는 계산적으로 효율적인 조절행렬 $ A $를 개발하기 위해.
• 볼록 설정에서의 조절 프레임워크를 딥 네URAL 네트워크와 같은 비볼록 설정으로 확장하기 위해.
• 표준 비전 벤치마크(예: MNIST 및 SVHN)에서 실험적으로 방법의 타당성을 검증하기 위해.

제안 방법

• 양의 정부호 행렬 $ A $를 사용하여 업데이트 규칙을 수정한 조절형 SGD를 제안하며, 이는 $ W_{t+1} = W_t - \eta (\nabla \ell_{y_i}(W_t x_i)) (A^{-1} x_i)^\top $로 표현된다.
• 스케칭 기법을 사용하여 데이터 상관행렬 $ C = \frac{1}{m} \sum_{i=1}^m x_i x_i^\top $의 제곱근을 근사함으로써, $ C^{1/2} $의 빠르고 낮은 질서의 근사값을 도출한다.
• 주 훈련 루프 외부에서 별도의 스레드를 사용해 $ A^{-1} $를 사전 계산함으로써 주 훈련 루프에서의 성능 저하를 방지한다.
• 이미지에서 행렬로의 변환(Im2Col)을 통해 컨볼루션 레이어를 애핀 레이어로 변환하여 네트워크 전체 레이어에 걸쳐 조절행렬을 균일하게 적용한다.
• ReLU, Xavier 초기화, Nesterov 모멘터미 등 표준 딥 러닝 컴포넌트를 유지하면서, 표준 SGD 업데이트를 조절된 업데이트로 대체한다.
• 추적 노름 기반 상한을 사용하여 이론적 가정 하에 최적의 조절행렬 $ A = C^{1/2} $를 유도한다.

실험 결과

연구 질문

• RQ1 스케칭을 사용하여 대규모 학습에서 SGD의 수렴 속도를 높이는 데 효과적인 조절행렬을 효율적으로 계산할 수 있는가?
• RQ2 볼록 설정에서 표준 SGD에 비해 조절행렬 $ A = C^{1/2} $가 더 빠른 수렴을 이끌어내는가?
• RQ3 조절 프레임워크는 계산 비용을 최소화하면서도 비볼록 딥 네URAL 네트워크에 확장 가능한가?
• RQ4 실제 비전 데이터셋에서 SCSGD는 표준 SGD에 비해 훈련 및 테스트 오차 수렴 속도에서 어떻게 비교되는가?

주요 결과

• SCSGD는 MNIST 및 SVHN 데이터셋에서 표준 SGD보다 유의미하게 더 빠른 수렴 속도를 보이며, 모든 지표에서 오차 감소가 더 빠르게 이루어진다.
• MNIST에서 SCSGD는 다중 클래스 로그 손실 기준으로 훈련 및 테스트 오차를 표준 SGD보다 더 빠르게 감소시키며, 테스트 오차가 훈련 초기에 1.5% 이하로 떨어지는 데 성공한다.
• SVHN에서 SCSGD는 표준 SGD보다 더 이르게 더 낮은 테스트 오차(약 1.3%)를 달성하여 다양한 아키텍처에서 일관된 성능 향상을 보였다.
• SCSGD는 표준 SGD와 동일한 하이퍼파ram터 및 네트워크 아키텍처를 유지하며, 오직 업데이트 규칙만 조절행렬 계산을 통해 수정한다.
• 스케칭을 통해 계산된 조절행렬 $ A = C^{1/2} $는 이론적으로 최대 $ \min\{n,p\} $의 속도 향상 비율을 제공하며, 초기 훈련 단계에서 실질적인 성능 향상이 2배를 초과한다.
• 조절행렬의 스케칭은 병렬로 수행될 수 있으며, 주 훈련 루프에 추가적인 런타임 비용을 초래하지 않는다.