[논문 리뷰] What if Neural Networks had SVDs?

Alexander Mathiasen, Frederik Hvilshøj외 3명|arXiv (Cornell University)|2020. 09. 29.

Neural Networks and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 신경망 내 행렬 연산을 효율적으로 계산하기 위해 하우스홀더 분해를 통해 직교 행렬 곱을 빠르게 수행하는 새로운 병렬 알고리즘인 FastH를 제안한다. GPU 실행에서의 병렬성을 높임으로써 기존 순차적 방법 대비 최대 27배의 성능 향상을 달성하면서도 동일한 이론적 시간 복잡도와 출력을 유지한다.

ABSTRACT

Various Neural Networks employ time-consuming matrix operations like matrix inversion. Many such matrix operations are faster to compute given the Singular Value Decomposition (SVD). Previous work allows using the SVD in Neural Networks without computing it. In theory, the techniques can speed up matrix operations, however, in practice, they are not fast enough. We present an algorithm that is fast enough to speed up several matrix operations. The algorithm increases the degree of parallelism of an underlying matrix multiplication $H\cdot X$ where $H$ is an orthogonal matrix represented by a product of Householder matrices. Code is available at www.github.com/AlexanderMath/fasth .

연구 동기 및 목표

• 신경망 내 SVD 기반 행렬 연산에서 발생하는 성능 저하 문제, 특히 GPU 환경에서의 성능 저하를 해결하기 위해.
• 기존 하우스홀더 기반 SVD 재매개변수화 방법에서의 순차적 내적 계산의 비효율성을 해결하기 위해.
• 기존 방법과 동일한 수학적 출력을 유지하면서도 GPU 하드웨어에서 뚜렷한 런타임 향상을 이룰 수 있는 병렬 알고리즘을 설계하기 위해.
• 딥러닝에서의 행렬 역행렬 계산, 행렬식 계산 등 SVD 기반 가속화 연산에 실질적인 성능 향상을 제공하기 위해.
• 기존 SVD 재매개변수화 프레임워크에 최소한의 코드 변경으로 쉽게 통합할 수 있는 드롭인 대체 수단을 제공하기 위해.

제안 방법

• FastH는 $ H \cdot X $ 형태의 직교 행렬 곱 연산을 재구조화하여 병렬성을 높인다. 여기서 $ H $ 는 $ d $ 개의 하우스홀더 행렬의 곱으로 표현된다.
• 순차적으로 $ d $ 개의 하우스홀더 변환을 적용하는 대신, FastH는 순차적 의존성을 줄이고 GPU 코어를 더 효과적으로 활용할 수 있도록 계산 순서를 재조정한다.
• 미니배치 크기가 $ m $ 인 경우, 알고리즘은 $ O(d/m + m) $ 개의 순차적 행렬-행렬 곱 연산을 수행하게 되며, 이는 이전 방법의 $ O(d) $ 개의 순차적 내적 계산 수를 줄인다.
• FastH는 CUDA로 구현되어 GPU 병렬성을 완전히 활용하며, 파이썬 기반 구현의 성능 한계를 피한다.
• 이 방법은 이전 SVD 재매개변수화 기법과 동일한 수학적 출력을 유지하므로 기존 모델과의 호환성을 보장한다.
• PyTorch 호환 구현이 제공되어 사용자가 `nn.Linear` 를 `LinearSVD` 로 교체하기 위해 단 한 줄의 코드 변경만으로도 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 SVD 기반 행렬 곱 연산의 성능 향상을 위해 시간 복잡도를 증가시키지 않고도 병렬 알고리즘을 설계할 수 있는가?
• RQ2 기존 SVD 재매개변수화 방법들은 이론적 시간 복잡도가 유리한 데도 불구하고 GPU에서 실질적인 성능 향상을 제공하지 못하는 이유는 무엇인가?
• RQ3 증가된 병렬성은 직교 행렬을 포함한 GPU 가속 행렬 연산에서의 순차적 병목 현상을 어느 정도 줄일 수 있는가?
• RQ4 기존 SVD 재매개변수화와 동일한 수학적 출력을 유지하면서 현대 하드웨어에서 뚜렷한 런타임 향상을 달성할 수 있는가?
• RQ5 딥러닝에서의 행렬 역행렬 계산, 행렬식 계산 등 SVD 기반 가속화 연산에 실질적인 성능 향상을 이룰 수 있는가?

주요 결과

• FastH는 GPU 하드웨어에서의 행렬 역행렬 벤치마크에서 [17]의 순차적 알고리즘 대비 최대 27배의 성능 향상을 달성한다.
• 순차적 연산 수를 $ O(d) $ 개의 내적 계산에서 $ O(d/m + m) $ 개의 행렬-행렬 곱 연산으로 줄여 GPU 코어 활용도를 크게 향상시킨다.
• FastH는 이전 방법과 동일한 출력과 이론적 시간 복잡도를 유지하므로 정확성과 기존 SVD 재매개변수화 프레임워크와의 호환성이 보장된다.
• CUDA로 구현된 구현은 GPU 병렬성을 완전히 활용하여 CPU 기반 또는 순차적 접근 방식의 성능 한계를 극복한다.
• 기존 딥러닝 모델과 호환되며, PyTorch 워크플로우에 통합하기 위해 단 한 줄의 코드 변경만으로도 가능하다.
• 계산 시간을 단축시킴으로써 에너지 소비와 이산화탄소 배출량을 낮추며, 특히 계산 자원이 제한된 연구자들에게 유리하다.