[논문 리뷰] Efficient Riemannian Optimization on the Stiefel Manifold via the Cayley Transform

Jun Li, Fuxin Li외 1명|arXiv (Cornell University)|2020. 02. 04.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 29

한 줄 요약

이 논문은 반복 켤레 변환 재타겟과 암묵적 벡터 이송을 통해 매개변수 행렬에 정확한 직교 제약 조건을 부여하는 두 가지 효율적인 리만 최적화 알고리즘인 Cayley SGD와 Cayley ADAM을 제안한다. 기존의 직교 제약을 부여하는 방법들과 비교해 더 빠른 수렴 속도와 더 짧은 반복당 학습 시간을 달성하면서도, CIFAR-10/100 및 픽셀 단위 MNIST 작업에서 모델 성능을 유지하거나 향상시킨다.

ABSTRACT

Strictly enforcing orthonormality constraints on parameter matrices has been shown advantageous in deep learning. This amounts to Riemannian optimization on the Stiefel manifold, which, however, is computationally expensive. To address this challenge, we present two main contributions: (1) A new efficient retraction map based on an iterative Cayley transform for optimization updates, and (2) An implicit vector transport mechanism based on the combination of a projection of the momentum and the Cayley transform on the Stiefel manifold. We specify two new optimization algorithms: Cayley SGD with momentum, and Cayley ADAM on the Stiefel manifold. Convergence of Cayley SGD is theoretically analyzed. Our experiments for CNN training demonstrate that both algorithms: (a) Use less running time per iteration relative to existing approaches that enforce orthonormality of CNN parameters; and (b) Achieve faster convergence rates than the baseline SGD and ADAM algorithms without compromising the performance of the CNN. Cayley SGD and Cayley ADAM are also shown to reduce the training time for optimizing the unitary transition matrices in RNNs.

연구 동기 및 목표

• 딥 러닝에서 스티펠 맨포일드 상의 리만 최적화의 높은 계산 비용을 해결하기 위해.
• 직교 행렬 갱신을 위한 비용이 많이 드는 행렬 역행렬 계산을 피하는 효율적인 재타겟 메커니즘을 개발하기 위해.
• Cavaliers 변환을 통한 암묵적 벡터 이송을 유도하여 스티펠 맨포일드에서 모멘텀 기반 최적화를 가능하게 하기 위해.
• 기본적인 SGD와 ADAM을 스티펠 맨포일드로 일반화하면서도 수렴 보장과 계산 효율성을 유지하기 위해.
• 제안된 알고리즘을 CNN 및 RNN에서 실험적으로 검증하여 더 빠른 수렴 속도와 더 짧은 반복당 학습 시간을 입증하기 위해.

제안 방법

• 스티펠 맨포일드 상에서 효율적인 재타겟을 위해 반복 켤레 변환을 도입하여, 고비용의 폐쇄형 행렬 역행렬 계산을 몇 번의 행렬 곱셈으로 대체한다.
• 유클리드 공간에서의 모멘텀 갱신과 켤레 변환을 조합하여 암묵적 벡터 이송 메커니즘을 유도함으로써 명시적 평행 이송을 피한다.
• 반복 켤레 재타겟과 암묵적 벡터 이송을 적용하여 SGD에 모멘텀을 도입하고 ADAM을 스티펠 맨포일드로 확장함으로써, Cayley SGD with momentum과 Cayley ADAM을 도출한다.
• 이론적 분석을 통해 표준 가정 하에 Cayley SGD의 수렴성을 증명하였으며, Cayley ADAM의 경우도 유사한 수렴 행동을 보일 것으로 기대된다.
• 반복 켤레 변환을 활용해 최적화 도중 직교성을 유지하며, 프로베니우스 노름 오차를 통해 단위 행렬 수렴 여부를 검증한다.
• 벡터 이송을 탄성 공간 투영으로 표현하기 위해 투영 기반 접근법을 사용하며, 켤레 변환의 암묵적 투영 성질을 활용한다.

실험 결과

연구 질문

• RQ1 반복 켤레 변환은 스티펠 맨포일드 상의 리만 최적화에서 폐쇄형 켤레 변환에 비해 계산적으로 효율적인 대안이 될 수 있는가?
• RQ2 Cavaliers 변환을 통한 암묵적 벡터 이송은 명시적 평행 이송 없이도 스티펠 맨포일드에서 효과적인 모멘텀 기반 최적화를 가능하게 하는가?
• RQ3 Cayley SGD와 Cayley ADAM은 기존의 직교 제약을 부여하는 방법들보다 CNN에서 더 빠른 수렴 속도와 더 짧은 반복당 학습 시간을 달성할 수 있는가?
• RQ4 제안된 알고리즘은 CNN 및 RNN 모두에서 정확한 직교 제약 조건을 부여함에도 불구하고 성능을 유지하거나 향상시키는가?
• RQ5 특히 수치 정밀도 제약 조건 하에서 반복 켤레 변환과 폐쇄형 버전은 직교성을 유지하는 데 어떻게 비교되는가?

주요 결과

• Cayley SGD와 Cayley ADAM은 CIFAR-10 및 CIFAR-100에서 VGG와 와이드 리스넷 모델에 대해, 직교 제약 조건 부여로 인한 반복당 비용이 더 높음에도 불구하고 기준 SGD 및 ADAM보다 더 빠른 수렴 속도를 보였다.
• 픽셀 단위 MNIST에서 전용 용량의 유니터리 RNN에서, 제안된 알고리즘은 폐쇄형 켤레 변환 대비 반복당 학습 시간을 최대 35% 감소시켰다.
• 2회의 반복을 가진 반복 켤레 변환은 n=116일 때 프로베니우스 노름 오차 7.384e-6, n=512일 때 2.562e-5를 기록하여, 폐쇄형 켤레 변환(8.273e-5 및 3.845e-5)보다 높은 정확도를 보였다. 이는 반올림 오차 감소로 인한 것이다.
• Cayley SGD와 Cayley ADAM은 폴라, QR, 폐쇄형 켤레 변환을 포함한 최첨단 직교 제약 방법들과 비교해 유사하거나 더 높은 테스트 정확도를 달성하면서도 훨씬 더 빠른 속도를 보였다.
• 모멘텀과 켤레 변환을 통한 암묵적 벡터 이송 메커니즘은 명시적 벡터 이송 없이도 효과적인 최적화 역학을 유지하며 안정적이고 효율적인 학습을 가능하게 했다.
• 픽셀 단위 MNIST 작업에서 Cayley SGD와 Cayley ADAM은 각각 92.8% 및 96.9%의 정확도를 달성했으며, TITAN Xp GPU에서 반복당 학습 시간은 각각 1.42초와 1.50초였고, 폐쇄형 켤레 방법(2.10초 및 2.44초)을 뛰어넘었다.