[論文レビュー] RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks

Rohun Tripathi, Bharat Singh|arXiv (Cornell University)|May 12, 2020

Advanced Neural Network Applications参考文献 24被引用数 4

ひとこと要約

RSO（ランダムサーチ最適化）は勾配フリーでサンプリングに基づく手法であり、深層ニューラルネットワークの学習に用いられる。この手法は、ネットワーク重みに対して繰り返し摂動を加え、ミニバッチでの損失を低下させる場合にのみ重みを更新する。MNISTでは99.1%、CIFAR-10では81.8%の精度を達成しており、SGDに比べてはるかに少ない重み更新回数で実現している。バックプロパゲーションや学習率チューニングを必要としないにもかかわらず、初期値まわりのランダムサーチが非常に有効であることが示された。

ABSTRACT

We propose RSO (random search optimization), a gradient free Markov Chain Monte Carlo search based approach for training deep neural networks. To this end, RSO adds a perturbation to a weight in a deep neural network and tests if it reduces the loss on a mini-batch. If this reduces the loss, the weight is updated, otherwise the existing weight is retained. Surprisingly, we find that repeating this process a few times for each weight is sufficient to train a deep neural network. The number of weight updates for RSO is an order of magnitude lesser when compared to backpropagation with SGD. RSO can make aggressive weight updates in each step as there is no concept of learning rate. The weight update step for individual layers is also not coupled with the magnitude of the loss. RSO is evaluated on classification tasks on MNIST and CIFAR-10 datasets with deep neural networks of 6 to 10 layers where it achieves an accuracy of 99.1% and 81.8% respectively. We also find that after updating the weights just 5 times, the algorithm obtains a classification accuracy of 98% on MNIST.

研究の動機と目的

• 勾配フリーの最適化であるランダムサンプリングが、バックプロパゲーションを用いずに深層ニューラルネットワークを効果的に学習できるかを調査すること。
• ランダムに初期化された重みのまわりでランダムサーチを実行することで、標準的なバックプロパゲーションと同等の性能を達成できるかを評価すること。
• サンプリングに基づく手法を用いることで、深層ネットワークの重み更新回数を著しく削減できるかを調査すること。
• 過パラメータ化された深層ネットワークにおいて、バックプロパゲーションを単純で微分不能な最適化戦略に置き換えることが可能かどうかを評価すること。

提案手法

• RSOは、マルコフ連鎖モンテカルロ風の探索を実行し、個々の重みを摂動させ、ミニバッチでの損失が低下するかをテストする。
• 重みの更新は、摂動後の重みが損失を低下させる場合にのみ行われ、更新ルールは以下の通りである：$ w_{i+1} = \begin{cases} w_i, & f(x,w_i) \leq f(x,w_i + \Delta w_i) \\ w_i + \Delta w_i, & f(x,w_i) > f(x,w_i + \Delta w_i) \end{cases} $
• アルゴリズムは重みごとに逐次更新を行い、一度に一つの摂動をテストし、より良い性能を示す重みを保持する。
• 中間層の活性化をキャッシュすることで、より深い層の最適化中に前方伝搬の結果を再利用し、計算コストを削減する。
• 学習率のハイパーパrameterを必要とせず、更新に勾配の大きさや方向にも依存しない。
• 本手法は、MNISTおよびCIFAR-10の画像分類タスクにおいて、6〜10層のCNNを用い、学習にRSOのみを適用し、追加の最適化手法を一切使用しない条件で評価された。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションを一切用いずに、勾配フリーのサンプリング手法（例：RSO）が深層ニューラルネットワークを効果的に学習できるか？
• RQ2 RSOにおける重み更新回数は、標準的なSGDベースの学習と比較して、収束速度および最終的な精度の観点でどのように異なるか？
• RQ3 過パラメータ化された深層ネットワークにおいて、ランダムに初期化された重みのまわりでランダムサーチを実行するだけで、良好な最小化点に到達できるか？
• RQ4 RSOは、学習率チューニングや勾配計算を一切行わずに、MNISTやCIFAR-10といった標準ベンチマークで競争力のある性能を達成できるか？

主な発見

• RSOは6〜10層のCNNを用いてMNISTで99.1%のテスト精度を達成し、標準的なバックプロパゲーション手法と同等の性能を示した。
• CIFAR-10では、同じアーキテクチャで81.8%の精度に到達し、より複雑なデータセットに対しても有効であることが示された。
• 層あたり5回の重み更新後には、MNISTで98%の精度に到達しており、初期段階での収束が著しく速いことが示された。
• RSOは、競争力のある性能に到達するまでにSGDに比べて1桁少ない重み更新回数で済ませるが、1回の更新あたりの計算コストは高い。
• 逐次的重み更新は、並列化戦略に比べて収束速度が優れており、特にCIFAR-10では顕著であるが、より長いスケジュールを用いれば並列化でも差を埋められる可能性がある。
• 中間活性化のキャッシュにより、MNISTではFLOPsが3.0倍、より深いネットワークでは3.5倍削減され、訓練の効率が著しく向上した。