[논문 리뷰] CWY Parametrization for Scalable Learning of Orthogonal and Stiefel Matrices

Valerii Likhosherstov, Jared Quincy Davis외 2명|arXiv (Cornell University)|2020. 04. 18.

Advanced Graph Neural Networks인용 수 3

한 줄 요약

이 논문은 GPU 및 TPU에서 직교 다각형과 스티펠 맨골드 위에서 효율적인 최적화를 위해, 하우스홀더 반사의 압축 가능하고 병렬 처리 가능한 표현을 활용하여 CWY 및 T-CWY 매개변수화 방법을 제안한다. 이 방법은 확률적 경사 하강법에서 정류점으로의 수렴을 가능하게 하며, 신경 기계 번역 및 비디오 예측을 위한 RNN 학습에서 뛰어난 성능을 보인다.

ABSTRACT

We introduce an efficient approach for optimization over orthogonal groups on highly parallel computation units such as GPUs or TPUs. As in earlier work, we parametrize an orthogonal matrix as a product of Householder reflections. However, to overcome low parallelization capabilities of computing Householder reflections sequentially, we propose employing an accumulation scheme called the compact WY (or CWY) transform -- a compact parallelization-friendly matrix representation for the series of Householder reflections. We further develop a novel Truncated CWY (or T-CWY) approach for Stiefel manifold parametrization which has a competitive complexity and, again, yields benefits when computed on GPUs and TPUs. We prove that our CWY and T-CWY methods lead to convergence to a stationary point of the training objective when coupled with stochastic gradient descent. We apply our methods to train recurrent neural network architectures in the tasks of neural machine translation and video prediction.

연구 동기 및 목표

• 직교 행렬 최적화에서 순차적 하우스홀더 반사 계산의 낮은 병렬 처리 효율성을 해결하기 위해.
• 현대 병렬 하드웨어인 GPU 및 TPU에서 확장 가능하고 고성능으로 직교 및 스티펠 맨골드 위에서 최적화를 가능하게 하기 위해.
• 수치 안정성과 수렴 성질을 유지하면서도 압축 가능하고 병렬 처리 友好的한 행렬 표현을 개발하기 위해.
• 새로운 절삭된 CWY(T-CWY) 접근법을 통해 스티펠 맨골드로의 확장과 함께 경쟁 가능한 계산 복잡도를 확보하기 위해.
• 실제 딥러닝 작업, 예를 들어 신경 기계 번역 및 비디오 예측과 같은 분야에서 방법의 실증적 검증을 위해.

제안 방법

• 논문은 하우스홀더 반사를 사용하여 직교 행렬을 매개변수화하며, 순차적 계산을 대체하기 위해 압축 가능한 WY(CWY) 표현을 활용해 병렬 실행을 가능하게 한다.
• CWY 변환은 하우스홀더 반사를 압축되고 수치적으로 안정적인 형태로 누적하는 행렬 곱으로 유도되며, GPU 및 TPU 가속에 적합하다.
• 스티펠 맨골드 매개변수화를 위한 새로운 절삭된 CWY(T-CWY) 방법이 도입되어 계산 비용을 감소시키면서도 수렴성을 유지한다.
• 이 방법은 확률적 경사 하강법과 통합되며, 표준 가정 하에 정류점으로의 수렴이 이론적으로 증명된다.
• 최적화 과정에서 투영 단계 없이도 매개변수화를 통해 직교 제약 조건을 암묵적으로 유지한다.
• 이 프레임워크는 순환 신경망 아키텍처에 적용되며, 직교 또는 스티펠 다각형의 다양체 위에서 직접 최적화가 수행된다.

실험 결과

연구 질문

• RQ1 하우스홀더 반사의 압축 가능하고 병렬 처리 가능한 표현은 GPU 및 TPU에서 최적화 효율성을 향상시킬 수 있는가?
• RQ2 확률적 경사 하강법과 함께 사용할 때 CWY 매개변수화가 수렴 보장을 유지하는가?
• RQ3 T-CWY 방법은 계산 비용을 줄이며 스티펠 맨골드를 효과적으로 매개변수화할 수 있는가?
• RQ4 시퀀스 모델링 작업에서 기존 방법과 비교해 제안된 방법의 학습 속도와 모델 성능는 어떠한가?
• RQ5 CWY 및 T-CWY 방법은 신경 기계 번역 및 비디오 예측에서 RNN의 학습 역학에 어떤 영향을 미치는가?

주요 결과

• CWY 매개변수화 방법은 GPU 및 TPU와 같은 고도로 병렬 처리 가능한 하드웨어에서 직교 행렬에 대한 효율적이고 확장 가능한 최적화를 가능하게 한다.
• 확률적 경사 하강법과 결합할 경우, 학습 목표 함수의 정류점으로의 수렴 보장을 보장한다.
• T-CWY 접근법은 강력한 병렬 처리 지원과 함께 경쟁 가능한 복잡도를 갖춘 스티펠 맨골드 매개변수화의 대안을 제공한다.
• 실증 결과는 신경 기계 번역 및 비디오 예측 작업에서 RNN의 학습 효율성과 성능 향상을 보여준다.
• 압축된 WY 표현은 순차적 하우스홀더 반사의 계산 블로킹을 크게 감소시켜 병렬 아키텍처에서 더 빠른 수렴을 가능하게 한다.
• 이 프레임워크는 최적화 과정에서 명시적 투영 단계 없이도 수치 안정성과 직교 제약 조건을 유지한다.