[論文レビュー] CWY Parametrization for Scalable Learning of Orthogonal and Stiefel Matrices

Valerii Likhosherstov, Jared Quincy Davis+2 more|arXiv (Cornell University)|Apr 18, 2020

Advanced Graph Neural Networks被引用数 3

ひとこと要約

本稿では、ハウスホルダー変換のコンactかつ並列実行可能な表現を活用することで、GPUおよびTPU上での直交群およびスタイーベル多様体上の効率的最適化のためのCWYおよびT-CWYパrametrization手法を提案する。この手法により、確率的勾配降下法における停留点への収束が保証され、ニューラル機械翻訳および動画予測のためのRNN学習において優れた性能を示す。

ABSTRACT

We introduce an efficient approach for optimization over orthogonal groups on highly parallel computation units such as GPUs or TPUs. As in earlier work, we parametrize an orthogonal matrix as a product of Householder reflections. However, to overcome low parallelization capabilities of computing Householder reflections sequentially, we propose employing an accumulation scheme called the compact WY (or CWY) transform -- a compact parallelization-friendly matrix representation for the series of Householder reflections. We further develop a novel Truncated CWY (or T-CWY) approach for Stiefel manifold parametrization which has a competitive complexity and, again, yields benefits when computed on GPUs and TPUs. We prove that our CWY and T-CWY methods lead to convergence to a stationary point of the training objective when coupled with stochastic gradient descent. We apply our methods to train recurrent neural network architectures in the tasks of neural machine translation and video prediction.

研究の動機と目的

• 直交行列最適化における逐次的ハウスホルダー変換計算の並列化効率の低さに対処すること。
• 現代の並列ハードウェア（GPUやTPUなど）上で、直交群およびスタイーベル多様体上のスケーラブルで高効率な最適化を可能にすること。
• 数値安定性および収束性を維持するコンパクトで並列に適した行列表現を構築すること。
• 計算複雑度が競争力を持つ新たな切り詰めCWY（T-CWY）アプローチを用いて、スタイーベル多様体への拡張を図ること。
• ニューラル機械翻訳や動画予測といった実世界の深層学習タスクにおいて、手法の実証的妥当性を検証すること。

提案手法

• 本稿では、直交行列のパラメータ化にハウスホルダー変換を用い、逐次的計算を避けるためにコンactなWY（CWY）表現を導入し、並列実行を可能にする。
• CWY変換は、ハウスホルダー変換をコンactかつ数値的に安定な形で蓄積する行列積として導出され、GPUおよびTPUの加速に適している。
• スタイーベル多様体のパラメータ化のため、新たな切り詰めCWY（T-CWY）手法を導入し、計算コストを低減しながら収束性を維持する。
• 手法は確率的勾配降下法と統合され、標準的な仮定の下で停留点への収束が理論的に証明されている。
• 最適化中に投影ステップを必要とせず、パラメータ化によって直交制約を暗黙的に維持する。
• フレームワークは再帰的ニューラルネットワークアーキテクチャに適用され、直交またはスタイーベル行列の多様体上で直接最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 ハウスホルダー変換のコンパクトで並列実行可能な表現は、GPUおよびTPU上での最適化効率を向上させ得るか？
• RQ2 確率的勾配降下法と組み合わせたCWYパラメータ化は、収束保証を維持できるか？
• RQ3 T-CWY手法は、計算コストを低減しつつ、スタイーベル多様体を効果的にパラメータ化できるか？
• RQ4 系列モデルタスクにおける学習速度およびモデル性能の観点から、本手法は既存手法と比較して優れているか？
• RQ5 CWYおよびT-CWY手法は、ニューラル機械翻訳および動画予測におけるRNNの学習ダイナミクスにどのような影響を与えるか？

主な発見

• CWYパラメータ化により、GPUやTPUなどの高度に並列化されたハードウェア上での直交行列に対する効率的かつスケーラブルな最適化が可能になった。
• 確率的勾配降下法と組み合わせた場合、訓練目的関数の停留点への収束が保証される。
• T-CWYアプローチは、計算複雑度が競争力を持ち、並列化サポートが強いスタイーベル多様体パラメータ化の代替手段を提供する。
• 実験的結果から、ニューラル機械翻訳および動画予測タスクにおけるRNNの学習効率と性能が向上した。
• コンパクトなWY表現により、逐次的ハウスホルダー変換の計算ボトルネックが顕著に低減され、並列アーキテクチャ上での収束が高速化された。
• 最適化中に明示的な投影ステップを必要とせず、数値安定性および直交制約の維持が保たれた。