[論文レビュー] Bypass Exponential Time Preprocessing: Fast Neural Network Training via Weight-Data Correlation Preprocessing

Josh Alman, Jiehao Liang+3 more|arXiv (Cornell University)|Nov 25, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿では、過パラメータ化されたReLUニューラルネットワークの学習を高速化するための新しい前処理手法を提案する。重みとデータの相関木を用いることで、ニューロンの発火におけるスパarsityを活用し、1イテレーションあたりの学習時間を o(nmd) に抑えつつ、前処理時間も O(nmd) に抑える。これは、従来の方法が指数的前処理時間を要していたのに対し、標準的な複雑度の予想に基づく理論的保証を維持しながら顕著に優れている。

ABSTRACT

Over the last decade, deep neural networks have transformed our society, and they are already widely applied in various machine learning applications. State-of-art deep neural networks are becoming larger in size every year to deliver increasing model accuracy, and as a result, model training consumes substantial computing resources and will only consume more in the future. Using current training methods, in each iteration, to process a data point $x \in \mathbb{R}^d$ in a layer, we need to spend $Θ(md)$ time to evaluate all the $m$ neurons in the layer. This means processing the entire layer takes $Θ(nmd)$ time for $n$ data points. Recent work [Song, Yang and Zhang, NeurIPS 2021] reduces this time per iteration to $o(nmd)$, but requires exponential time to preprocess either the data or the neural network weights, making it unlikely to have practical usage. In this work, we present a new preprocessing method that simply stores the weight-data correlation in a tree data structure in order to quickly, dynamically detect which neurons fire at each iteration. Our method requires only $O(nmd)$ time in preprocessing and still achieves $o(nmd)$ time per iteration. We complement our new algorithm with a lower bound, proving that assuming a popular conjecture from complexity theory, one could not substantially speed up our algorithm for dynamic detection of firing neurons.

研究の動機と目的

• 大規模なディープニューラルネットワークの学習に伴う計算コストの増大に対処すること。
• データ量およびネットワーク幅に関して、多項式的前処理時間と準平方以下の1イテレーション複雑度を持つ学習アルゴリズムを設計すること。
• 従来の最先端手法が最近傍探索データ構造を用いていた指数的前処理時間のボトルネックを克服すること。
• 学習中の発火ニューロンの動的検出に対して、決定的かつ実用的なソリューションを提供すること。
• 標準的な複雑度予想に基づく下界を確立すること。

提案手法

• 各データポイントごとに1つの二分探索木を構築し、各データポイントとすべての m 個の重みとの内積を管理する。
• 各木は葉に内積を格納し、内部ノードでは最大値を上位に伝搬させることで、効率的な範囲クエリを可能にする。
• 木構造を用いて、トップダウン走査により発火ニューロン（内積が閾値 b 以上）を動的に検出する。
• 重みが変更された際の効率的な更新を実現：1データポイントあたり O(log m) 個のノードが更新され、合計で O(nd log m) 時間を要する。
• 活性ニューロンの数を制御し、発火集合のスパarsityを保証するために、閾値 b = √(0.4 log m) を採用する。
• 勾配降下法にデータ構造を統合し、計算を常に活性ニューロンに制限することで、1イテレーションあたりのコストを削減する。

実験結果

リサーチクエスチョン

• RQ1 多項式的前処理時間で、1イテレーションあたり o(nmd) の学習時間を達成できるか？
• RQ2 学習における動的発火ニューロン検出のための決定的かつ実用的なデータ構造を設計できるか？
• RQ3 標準的な複雑度仮定の下で、動的発火ニューロン検出のための速度向上の理論的限界は何か？
• RQ4 重み-データ相関は、過パラメータ化されたネットワークにおけるスパースな活性化検出をどのように効率化するか？
• RQ5 正しさと効率性を各イテレーションにわたって保証しつつ、準平方以下の学習時間を持続できるか？

主な発見

• 提案されたアルゴリズムは、期待される1イテレーション実行時間を Õ(m⁴ᐟ⁵n²d) に抑え、m ≫ n の場合に o(nmd) に相当する。
• 前処理時間は O(nmd) であり、従来の O(2^d) または O(n^d) の時間が必要だった手法に比べ顕著な改善である。
• 動的更新とクエリの両方を、それぞれ O(nd log m) および O(min{|Q|, m⁴ᐟ⁵n}) 時間でサポートする。
• アルゴリズムは決定的であり、確率的要素を含まず、再現性と信頼性を高めている。
• 正規直交ベクトル予想に基づく下界が証明され、o(nmd) の1イテレーション時間は、標準的な複雑度仮定を破らない限り著しく改善できないことが示された。
• 理論的分析を通じて、実効的な効率性が実証され、平均して1データポイントあたり O(m⁴ᐟ⁵n) 個のニューロンが発火することを示し、スパース計算が可能である。