[論文レビュー] Sampling weights of deep neural networks

Erik Lien Bolager, Iryna Burak+3 more|arXiv (Cornell University)|Jun 29, 2023

Neural Networks and Applications被引用数 7

ひとこと要約

本稿では、反復的最適化を必要としない深層ニューラルネットワークの重み・バイアスのデータ駆動型サンプリング手法を提案する。訓練データに基づいて目的関数の勾配に従ってサンプリングすることで、普遍近似が達成され、浅いネットワークでは$L^2$誤差が$\/mathcal{O}(m^{-1/2})$の割合で減少し、勾配ベース手法と同等の精度で反復回数に比して著しく高速な学習が可能になる。さらに、入力スケーリングや剛体変換に対して不変であることも特徴である。

ABSTRACT

We introduce a probability distribution, combined with an efficient sampling algorithm, for weights and biases of fully-connected neural networks. In a supervised learning context, no iterative optimization or gradient computations of internal network parameters are needed to obtain a trained network. The sampling is based on the idea of random feature models. However, instead of a data-agnostic distribution, e.g., a normal distribution, we use both the input and the output training data to sample shallow and deep networks. We prove that sampled networks are universal approximators. For Barron functions, we show that the $L^2$-approximation error of sampled shallow networks decreases with the square root of the number of neurons. Our sampling scheme is invariant to rigid body transformations and scaling of the input data, which implies many popular pre-processing techniques are not required. In numerical experiments, we demonstrate that sampled networks achieve accuracy comparable to iteratively trained ones, but can be constructed orders of magnitude faster. Our test cases involve a classification benchmark from OpenML, sampling of neural operators to represent maps in function spaces, and transfer learning using well-known architectures.

研究の動機と目的

• 勾配ベースの重み学習をデータ駆動型サンプリング手順に置き換えることで、深層ニューラルネットワークの学習における反復的最適化を排除すること。
• 特にデータポイント間の勾配情報を組み込むことで、ランダムにサンプリングされたネットワークの近似精度を向上させること。
• 入力スケーリングや剛体変換に対して不変となるようにすることで、標準的な前処理手法への依存を低減すること。
• 浅いネットワークおよび深いネットワークの両方を理論的保証のもとで効率的に構築できること。
• 従来の学習手法に対する理論的裏付けが強く、解釈可能で計算的にも効率的な代替手法を提供すること。

提案手法

• 訓練データのペア間の方向に基づいて確率的分布を導出し、目的関数の勾配が大きい領域に注目して重み・バイアスをサンプリングする。
• 入力-出力ペアのデータに依存する分布を用いて、隠れ層のパラメータを構築することで、元の関数構造と整合性を保つ。
• 各層のパラメータを逐次的にサンプリングし、直前の層の出力を入力として用いることで深層ネットワークを構築するが、バックプロパゲーションは一切使用しない。
• 最終層の重み・バイアスは、SVDを用いた最小二乗法により計算され、最後の隠れ層から出力をマッピングする線形系を解く。
• 相対的なデータポイントの差に依存するため、入力データの直交変換やスケーリングに対して不変である。
• SWIMと呼ばれるライブラリで実装されており、固定アーキテクチャでは$\mathcal{O}(M)$の実行時間であり、$M$は訓練データサイズを表す。

実験結果

リサーチクエスチョン

• RQ1 反復的でない、データ駆動型のネットワーク重みサンプリングスキームは、勾配ベース学習と同等の近似精度を達成できるか？
• RQ2 提案されたサンプリング手法は、深層および浅いネットワークにおいて普遍近似を達成できるか？
• RQ3 入力スケーリングや剛体変換に対して不変となるように、サンプリング分布を設計できるか？
• RQ4 サンプリングされた浅いネットワークの理論的$L^2$近似誤差率は何か？また、ネットワーク幅にどのように依存するか？
• RQ5 特に深層ネットワークや関数空間マッピングタスクにおいて、このサンプリング手法の計算効率は標準的な学習手法と比べてどうか？

主な発見

• サンプリングされたネットワークは普遍近似可能であり、コンactドメイン上の任意の連続関数を近似可能である。
• Barron関数に対して、サンプリングされた浅いネットワークの$L^2$近似誤差は、最適なレート$\/mathcal{O}(m^{-1/2})$で減少する。
• OpenML分類ベンチマークにおいて、反復的に訓練されたネットワークと同等のテスト精度を達成しており、学習時間は著しく高速である。
• このサンプリングスキームは、入力スケーリングや剛体変換に対して不変であり、正規化などの標準的な前処理が不要になる。
• 実行時間の複雑さは、固定アーキテクチャでは$\mathcal{O}(M)$、一般には$\mathcal{O}(L \cdot M(\lceil N/M\rceil + N^2))$であり、メモリ複雑さは$\mathcal{O}(M \cdot \lceil N/M\rceil + L N^2)$である。
• 数値実験により、標準アーキテクチャを用いたニューラルオペレータ学習や転移学習においても優れた性能を示しており、実用的妥当性が確認された。