[논문 리뷰] Scalable Adaptive Stochastic Optimization Using Random Projections

Gabriel Krummenacher, Brian McWilliams외 3명|arXiv (Cornell University)|2016. 11. 21.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 전체 행렬 ADAGRAD를 근사하기 위해 무작위 투영을 사용하는 확장 가능한 적응형 확률적 최적화 방법인 RADAGRAD를 제안한다. 이는 계산 비용의 일부에 불과한 비용으로 두 번째 차수 정보를 효율적으로 캡처할 수 있도록 한다. 딥 네URAL 네트워크 학습에서, 특히 저효율 랭크 설정에서, 대각선 ADAGRAD보다 더 빠른 수렴 속도와 향상된 성능을 달성한다.

ABSTRACT

Adaptive stochastic gradient methods such as AdaGrad have gained popularity in particular for training deep neural networks. The most commonly used and studied variant maintains a diagonal matrix approximation to second order information by accumulating past gradients which are used to tune the step size adaptively. In certain situations the full-matrix variant of AdaGrad is expected to attain better performance, however in high dimensions it is computationally impractical. We present Ada-LR and RadaGrad two computationally efficient approximations to full-matrix AdaGrad based on randomized dimensionality reduction. They are able to capture dependencies between features and achieve similar performance to full-matrix AdaGrad but at a much smaller computational cost. We show that the regret of Ada-LR is close to the regret of full-matrix AdaGrad which can have an up-to exponentially smaller dependence on the dimension than the diagonal variant. Empirically, we show that Ada-LR and RadaGrad perform similarly to full-matrix AdaGrad. On the task of training convolutional neural networks as well as recurrent neural networks, RadaGrad achieves faster convergence than diagonal AdaGrad.

연구 동기 및 목표

• 고차원 문제에서 전체 행렬 ADAGRAD의 높은 계산 비용을 해결하기 위해.
• 특징 간 상관관계를 캡처하는 확장 가능한 두 번째 차수 정보의 근사 방법을 개발하기 위해.
• 저장 및 계산 복잡도를 줄이면서도 강력한 이론적 보장을 유지하기 위해.
• 딥 러닝에서 최적화 성능을 향상시키기 위해, 특히 CNN 및 RNN과 같은 저효율 랭크 구조를 가진 모델을 위해.
• 대규모 딥 러닝에서 전체 행렬 헤시안 근사치를 사용한 적응형 확률적 최적화의 실용적 사용을 가능하게 하기 위해.

제안 방법

• 기본 구조의 무작위 투영(SRFT 등)을 사용하여 기울기 외적의 차원을 감소시키는 ADA-LR를 제안한다.
• 빠른 무작위 투영을 적용하여 헤시안 근사 행렬의 역제곱근을 근사함으로써 계산 비용을 p 배 감소시킨다.
• 무작위 SVD와 QR 분해를 사용하여 ADA-LR의 가장 계산 비용이 높은 단계를 최적화하는 완전히 확장 가능한 변형인 RADAGRAD를 도입한다.
• 수렴 안정성을 향상시키기 위해 SVRG 스타일 업데이트를 사용하는 변동성 감소 버전의 RADAGRAD를 도입한다.
• 효율적이고 GPU 우수한 계산을 위해 구조적 무작위 투영(예: 부분 샘플링된 무작위 푸리에 변환)을 사용한다.
• 이론적 위험 한계가 전체 행렬 ADAGRAD에 가까운 유지할 수 있도록 최적화 프레임워크를 수정한다.

실험 결과

연구 질문

• RQ1 이론적 보장을 유지하면서도, 전체 행렬 ADAGRAD의 프록시 항을 효과적으로 근사하기 위해 무작위 투영이 유용한가?
• RQ2 무작위 근사의 성능은 수렴 및 위험 측면에서 전체 행렬 ADAGRAD와 비교해 어떻게 되는가?
• RQ3 제안된 방법은 딥 러닝 작업에서 대각선 ADAGRAD보다 더 빠른 수렴을 달성할 수 있는가?
• RQ4 변동성 감소는 무작위 적응형 최적화기의 실용적 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 저효율 랭크 구조를 가진 고차원 딥 러닝 문제에 효율적으로 확장 가능한가?

주요 결과

• Penn Treebank 언어 모델링 작업에서, 변동성 감소를 적용한 RADAGRAD는 훈련 손실을 2.7배 감소시켰다(5.62×10⁻⁴ vs. 1.52×10⁻³).
• RADAGRAD는 테스트 손실을 2.8배 감소시켰다(1.15×10⁻² vs. 3.23×10⁻²)로서, 훈련 및 일반화 성능 모두에서 ADAGRAD를 뛰어넘었다.
• RADAGRAD가 선택한 학습률은 ADAGRAD의 약 10배 높아, 더 적극적인 업데이트를 가능하게 했다.
• RADAGRAD는 합성곱 신경망 및 순환 신경망 작업 모두에서 ADAGRAD 및 ADAGRAD+SVRG보다 더 빠른 수렴 속도를 달성했다.
• ADAGRAD보다 반복당 5~10배 느리지만, 더 빠른 수렴 덕분에 전체 최적화 시간이 감소했다.
• 지수 감소 기반의 기억 상실 기법(예: ADAM와 유사)은 성능을 떨어뜨렸으며, 이는 핵심 RADAGRAD 프레임워크가 이러한 수정에 민감함을 시사한다.