[論文レビュー] Fast, Better Training Trick -- Random Gradient

Jiakai Wei|arXiv (Cornell University)|Aug 13, 2018

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 3

ひとこと要約

本論文では、逆誤差伝搬の前に損失関数に 0 から 1 の間のランダムな数を乗算することで、勾配の大きさを小さくし、収束を加速するとともにモデル性能を向上させる、シンプルで効果的なトレーニングテクニック「ランダム勾配（RG）」を提案する。この手法は追加計算を要せず、画像分類、セマンティックセグメンテーション、GAN といった多様なタスクに適用可能であり、特に学習率が高く、モーメンタム値が 0.5 から 0.95 の範囲にある場合に顕著にトレーニングを高速化し、最適化の振動を低減する。

ABSTRACT

In this paper, we will show an unprecedented method to accelerate training and improve performance, which called random gradient (RG). This method can be easier to the training of any model without extra calculation cost, we use Image classification, Semantic segmentation, and GANs to confirm this method can improve speed which is training model in computer vision. The central idea is using the loss multiplied by a random number to random reduce the back-propagation gradient. We can use this method to produce a better result in Pascal VOC, Cifar, Cityscapes datasets.

研究の動機と目的

• 深層学習のトレーニングを高速化し、収束を改善する、軽量で計算コストのない手法を開発すること。
• 損失関数のランダム重み付けが、多様なコンピュータビジョンタスクにおいて最適化の安定性と速度を向上させることを調査すること。
• ランダム勾配、学習率、モーメンタム、モデルアーキテクチャの間の相互作用が、トレーニングパフォーマンスに与える影響を明らかにすること。
• 複雑な最適化アルゴリズムに依存せずに、標準ベンチマーク上で本手法の有効性を示すこと。

提案手法

• コアとなる手法は、勾配計算の前に損失値に 0 から 1 の間の一様分布に従うランダムな数を乗算することで、逆誤差伝搬信号の大きさを小さくする「ランダム勾配」を生成すること。
• ランダムスケーリングはバッチごとに独立して適用され、勾配更新プロセスに制御されたノイズを導入することで、収束を早め、振動を低減する。
• アーキテクチャに依存しないアプローチであり、構造の変更や追加パラメータを必要としないため、あらゆる深層学習モデルに適用可能である。
• 実験では、データオーグメンテーション、正規化、および学習率スケジューリングを含む標準的なトレーニングプロトコルを用い、学習率とモーメンタム値を変化させることで汎用性を評価した。
• ResNet、DenseNet、MobileNetV2、PSPNet、pix2pix を用い、Pascal VOC、CIFAR-10/100、Cityscapes といったデータセットで評価した。
• GANの実験では Adam 最適化手法を用い、本手法が適応的最適化手法とも互換性があり、確率的勾配降下法に依存しないことを確認した。

実験結果

リサーチクエスチョン

• RQ1 損失関数のランダムスケーリングは、深層学習モデルの収束を加速させ、一般化性能を向上させることができるか？
• RQ2 ランダム勾配手法が、異なるアーキテクチャにおいて学習率やモーメンタムといったハイパーパrameterとどのように相互作用するか？
• RQ3 本手法は、画像分類、セマンティックセグメンテーション、画像生成タスクにおいて、性能を維持または向上させることができるか？
• RQ4 GANのトレーニングにおいて、Adam などの適応的最適化手法と組み合わせた場合に、本手法は有効であるか？
• RQ5 本手法は、アーキテクチャの変更なしに、さまざまなモデルアーキテクチャとデータセットに一般化可能か？

主な発見

• 画像分類の ResNet34 において、本手法は収束を顕著に加速させ、特に初期学習率が 0.1 を超える場合に顕著である。
• PSPNet を用いたセマンティックセグメンテーションでは、最適化の振動が低減され、mIOU のパフォーマンスが向上し、特にモーメンタム値が 0.5 から 0.95 の範囲で顕著である。
• pix2pix を用いた GAN では、標準的な逆誤差伝搬と比較して、よりシャープで現実的らしい画像生成結果が得られた。
• 本手法は、すべての評価タスクで収束が速く、安定性に優れることが確認され、Adam 最適化手法を用いた場合でも同様の効果を示し、広範な互換性を持つことが示された。
• 最適なモーメンタム値はモデルごとに固定ではないが、画像分類およびセグメンテーションタスクにおいて、常に 0.5 の値が強力な結果をもたらす。
• 本手法には測定可能な計算コストがなく、損失値ごとにスカラー乗算を行うだけであるため、実装に非常に効率的である。