[論文レビュー] On the Ineffectiveness of Variance Reduced Optimization for Deep Learning

Aaron Defazio, Léon Bottou|arXiv (Cornell University)|Dec 11, 2018

Stochastic Gradient Optimization Techniques参考文献 32被引用数 14

ひとこと要約

本論文は、深層ニューラルネットワークにおける分散低減最適化手法—特に SVRG と SAGA—の実用的有効性を調査している。凸設定では強い理論的収束保証があるものの、大規模な非凸な深層学習問題では、これらの手法が訓練性能を向上させないことを示している。主な発見は、変換ロックを用いて分散低減を維持しても、特に ResNet や DenseNet のような深層モデルでは、高いステップ相関と計算オーバーヘッドのため、標準的な SGD よりも SVRG が実際には優れているとは言えないことである。

ABSTRACT

The application of stochastic variance reduction to optimization has shown remarkable recent theoretical and practical success. The applicability of these techniques to the hard non-convex optimization problems encountered during training of modern deep neural networks is an open problem. We show that naive application of the SVRG technique and related approaches fail, and explore why.

研究の動機と目的

• 深層ニューラルネットワークの学習における、SVRG や SAGA などの分散低減最適化手法の実用的有効性を評価すること。
• 凸設定ではうまく機能するが、非凸な深層学習問題では収束性や一般化性能を向上させないこれらの手法の理由を特定すること。
• データ拡張とステップ相関が分散低減および訓練ダイナミクスに与える影響を調査すること。
• 複数のアーキテクチャとデータセットにおいて、SVRG、SAGA、SGD の収束速度とテスト精度を比較すること。
• SVRG を用いたファインチューニングが、特に後期の訓練段階で最終モデルの性能を向上させるかどうかを検討すること。

提案手法

• CIFAR-10 および ImageNet データセットを用いて、LeNet、DenseNet、ResNet アーキテクチャ上で SVRG と SAGA を実験的に評価する。
• スナップショットパスで使用するランダム変換をキャッシュすることで、データ拡張中に分散低減を維持するための変換ロックを適用する。
• 1エポックあたりの勾配更新の分散を測定し、実際の分散低減の度合いを定量化する。
• 収束速度を比較する際、学習率とモーメンタムをすべての手法で同一に保ち、エポックごとのテスト誤差を用いる。
• ImageNet で、訓練のさまざまなエポック（20、40、60、80）で開始する SVRG ファインチューニングのアブレーションスタディを実施し、後期段階での利点を評価する。
• ストリーミングバージョンの SCSG を用い、標準的な SVRG と比較して性能と安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 SVRG や SAGA を用いた分散低減は、標準的な SGD よりも深層学習で収束を速くしたり、テスト精度を向上させたりするのか？
• RQ2 特にランダム変換を含むデータ拡張は、SVRG における分散低減の効果にどのように影響するのか？
• RQ3 連続する SVRG ステップ間の高い相関が、理論的利点があるにもかかわらず、実用的利点を制限する程度はどの程度か？
• RQ4 SVRG を用いたファインチューニングは、SGD による初期学習の後に最終モデルの性能を向上させるのか？
• RQ5 なぜ、分散が低減されているにもかかわらず、ResNet-110 や ResNet-18 のような大規模モデルでは、分散低減手法が SGD を上回らないのか？

主な発見

• ResNet-110（CIFAR-10）や ResNet-18（ImageNet）のような大規模モデルでは、SVRG が SGD よりも収束を改善しない。むしろ、高いステップ相関のため、性能が悪化する傾向がある。
• LeNet のような小さなモデルでは、SVRG にわずかな収束上の利点が見られるが、モデルのサイズと複雑さが増すとその利点は薄れる。
• 変換ロックにより、SVRG の更新における分散が顕著に低減されるが、この低減が収束の高速化や精度の向上に結びつかない。
• SCSG のストリーミングバージョンは、SGD や SVRG よりも性能が劣り、ストリーミングアプローチが深層学習における分散低減の根本的制限を克服できないことを示している。
• ResNet-50 や DenseNet-169 で、さまざまなエポック（20〜80）で開始する SVRG ファインチューニングを行ったが、純粋な SGD よりも性能向上が得られなかった。
• 凸設定では理論的に線形収束率を達成するが、非凸な深層学習では高いステップ相関と計算オーバーヘッドのため、分散低減手法は実用的な利点を提供しない。