[論文レビュー] Improving Neural Network Training in Low Dimensional Random Bases

Frithjof Gressmann, Zach Eaton-Rosen+1 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Neural Network Applications参考文献 37被引用数 6

ひとこと要約

この論文では、最適化ステップごとに再びランダムな低次元部分空間を再描画することで、固定されたランダム射影よりも高速な収束と高い精度を実現する、Random Basis Descent (RBD) を提案する。CIFAR-10 において ResNet-8 を用いた実験で、ベースライン手法に比べて最大 10× の高速化と 20.5% の高い検証精度を達成した。

ABSTRACT

Stochastic Gradient Descent (SGD) has proven to be remarkably effective in optimizing deep neural networks that employ ever-larger numbers of parameters. Yet, improving the efficiency of large-scale optimization remains a vital and highly active area of research. Recent work has shown that deep neural networks can be optimized in randomly-projected subspaces of much smaller dimensionality than their native parameter space. While such training is promising for more efficient and scalable optimization schemes, its practical application is limited by inferior optimization performance. Here, we improve on recent random subspace approaches as follows: Firstly, we show that keeping the random projection fixed throughout training is detrimental to optimization. We propose re-drawing the random subspace at each step, which yields significantly better performance. We realize further improvements by applying independent projections to different parts of the network, making the approximation more efficient as network dimensionality grows. To implement these experiments, we leverage hardware-accelerated pseudo-random number generation to construct the random projections on-demand at every optimization step, allowing us to distribute the computation of independent random directions across multiple workers with shared random seeds. This yields significant reductions in memory and is up to 10 times faster for the workloads in question.

研究の動機と目的

• 低次元ニューラルネットワーク学習における固定ランダム部分空間手法の劣った最適化性能を改善すること。
• ハードウェアアクセラレートされた乱数生成を活用して、大規模最適化の効率性とスケーラビリティを向上させること。
• トレーニング段階ごとに動的で、各ステップごとのランダム射影が、深層ネットワークの学習において静的射影を上回ることを検証すること。
• ネットワークサイズの増大に伴い近似効率を向上させるために、ランダム射影を階層化して管理することを検討すること。
• 各ステップでランダムベクトルの基底を再生成することで、固定射影勾配降下法（FPD）よりも優れた一般化性能とより速い収束を達成できることを示すこと。

提案手法

• 最適化ステップごとにランダム射影行列を再サンプリングする Random Basis Descent (RBD) を導入し、固定するのではなく動的に更新する。
• 異なるネットワークコンポONENT（例：層や重みグループ）に独立したランダム射影を適用することで、各コンポONENTの有効次元を低減する。
• ハードウェアアクセラレートされた擬似乱数生成を活用し、必要に応じてランダム方向を計算し、共有シードを用いた分散計算を可能にする。
• 層のサイズに比例してランダムベクトルを割り当てる階層化戦略を採用し、より深いネットワークにおける近似効率を向上させる。
• 各ステップで独立に生成されたランダムベクトルが張る低次元部分空間に制限された更新を実装するパラメータ化手法を採用する。
• SGD に統合し、勾配を現在のランダムベクトル基底に射影することで、効率的かつ低メモリな最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 各トレーニングステップでランダム部分空間を再描画することで、固定ランダム射影と比較して最適化性能が顕著に向上するか？
• RQ2 ネットワーク層ごとにランダム射影を階層化することで、モデルサイズの増大に伴い学習効率と精度が向上するか？
• RQ3 動的ランダムベクトルを用いることで、顕著に削減されたトレーニング可能なパラメータ数で、フル次元の SGD と同等またはそれ以上の性能を達成できるか？
• RQ4 RBD の性能は、固定射影勾配降下法（FPD）や導出不能最適化（例：NES）と比較して、精度と収束速度の面でどのように異なるか？
• RQ5 ハードウェアアクセラレートされたオンデマンド乱数生成により、大規模モデル向けに動的ランダム部分空間最適化が実用的かつスケーラブルに実現可能か？

主な発見

• RBD は、ResNet-8 を用いた CIFAR-10 において、固定射影勾配降下法（FPD）ベースラインに比べて 20.5% の検証精度向上を達成し、ブラックボックス NES に比べて 39.6% の向上を示した。
• RBD は、トレーニング可能なパラメータ数を 10× 削減（7,982 対 78,330）することで、SGD ベースラインの 84% の精度を達成し、すべての圧縮レベルで FPD を上回った。
• パラメータ数を 75× 削減した状態でも、FPD に対して 11% 以上の相対的改善を維持しており、極端な圧縮下でも頑健であることが示された。
• ベースライン手法と比較して、壁時計時間のトレーニング時間を最大 10× 削減でき、特に効率的なメモリ使用と分散計算の恩恵を大きく受けた。
• 層ごとにランダム射影を階層化することで、精度とトレーニング速度の両方が向上し、FPD に適用しても顕著な改善が得られた。
• RBD の勾配とフル SGD 勾配の相関係数は、パラメータ数を 10× 削減した状態でも 0.42 ± 0.18 を維持しており、効果的な降下方向の近似が行われていることが示された。