[論文レビュー] What if Neural Networks had SVDs?

Alexander Mathiasen, Frederik Hvilshøj+3 more|arXiv (Cornell University)|Sep 29, 2020

Neural Networks and Applications参考文献 13被引用数 4

ひとこと要約

この論文では、ハウスホルダー分解を用いて直交行列乗算を効率的に計算することで、ニューラルネットワーク内の行列演算を高速化する新しい並列アルゴリズムFastHを提案する。GPU実行における並列性を向上させることで、従来の逐次的手法と比較して最大27倍の高速化を達成したが、理論的時間計算量および出力は、既存のSVD再パrameterization手法と同一のままである。

ABSTRACT

Various Neural Networks employ time-consuming matrix operations like matrix inversion. Many such matrix operations are faster to compute given the Singular Value Decomposition (SVD). Previous work allows using the SVD in Neural Networks without computing it. In theory, the techniques can speed up matrix operations, however, in practice, they are not fast enough. We present an algorithm that is fast enough to speed up several matrix operations. The algorithm increases the degree of parallelism of an underlying matrix multiplication $H\cdot X$ where $H$ is an orthogonal matrix represented by a product of Householder matrices. Code is available at www.github.com/AlexanderMath/fasth .

研究の動機と目的

• GPU上で特に顕著なSVDベースの行列演算における性能ボトルネックを解消すること。
• 従来のハウスホルダーに基づくSVD再パラメータライゼーション手法における逐次的内積計算の非効率性を克服すること。
• 既存手法と同一の数学的出力を保ちつつ、GPUハードウェア上で著しく高速化された並列アルゴリズムを設計すること。
• ディープラーニングにおける行列逆行列計算、行列式計算その他のSVD加速演算に対して実用的な高速化を可能にすること。
• コード変更を最小限に抑えて、既存のSVD再パラメータライゼーションフレームワークに即座に統合可能な代替ソリューションを提供すること。

提案手法

• FastHは、$ H \cdot X $ の直交行列乗算の計算を再構成し、並列性を向上させる。ここで $ H $ は $ d $ 個のハウスホルダー行列の積である。
• $ d $ 個のハウスホルダー変換を逐次的に適用するのではなく、FastHは計算を再編成することで逐次的依存性を低減し、GPUコアをより効果的に活用する。
• ミニバッチサイズ $ m $ に対して、$ O(d/m + m) $ 個の逐次的行列同士の乗算を実行する。これにより、内積の逐次的処理回数は $ O(d) $ から削減される。
• CUDAを用いて実装することで、GPUの並列性を最大限に活用し、Pythonベースの実装の性能制限を回避する。
• 従来のSVD再パラメータライゼーション手法と同一の数学的出力を保持しており、既存モデルとの互換性が保証される。
• PyTorch互換の実装が提供されており、`nn.Linear` を `LinearSVD` に置き換えるだけで、最小限のコード変更で統合可能である。

実験結果

リサーチクエスチョン

• RQ1 理論的時間計算量を増加させることなく、ニューラルネットワークにおけるハウスホルダーに基づく行列乗算を高速化する並列アルゴリズムを設計可能か？
• RQ2 理論的時間計算量が有利であるにもかかわらず、なぜ従来のSVD再パラメータライゼーション手法はGPU上で実用的な高速化を達成できていないのか？
• RQ3 GPU加速行列演算における直交行列を含む演算において、並列性を高めることで、どの程度逐次的ボトルネックを軽減できるか？
• RQ4 既存のSVD再パラメータライゼーションと同一の数学的出力を得つつ、現代のハードウェア上で著しく高速化された実行時間を達成可能か？
• RQ5 ディープラーニングにおける行列逆行列計算や行列式計算といったSVD加速演算に対して、実用的な高速化を達成可能か？

主な発見

• FastHは、GPUハードウェア上での行列逆行列ベンチマークにおいて、[17]の逐次的アルゴリズムと比較して最大27倍の高速化を達成した。
• アルゴリズムにより、内積の逐次的処理回数が $ O(d) $ から $ O(d/m + m) $ 個の行列同士の乗算に削減され、GPUコアの利用効率が著しく向上した。
• FastHは、従来手法と同一の出力および理論的時間計算量を維持しており、正しさおよび既存のSVD再パラメータライゼーションフレームワークとの互換性が保証される。
• CUDAによる実装により、CPUベースまたは逐次的アプローチの性能制限を克服し、GPUの並列性を完全に活用できる。
• 既存のディープラーニングモデルと互換性があり、PyTorchワークフローに統合するには単一の行のコード変更で十分である。
• 計算時間を短縮することで、特に計算リソースが限られた研究者にとって、エネルギー消費量および二酸化炭素排出量が低減される。