[論文レビュー] Do deep nets really need weight decay and dropout?

Álex Hernández-García, Peter König|arXiv (Cornell University)|Feb 20, 2018

Advanced Neural Network Applications参考文献 10被引用数 19

ひとこと要約

この論文は、画像認識における深層畳み込みニューラルネットワークにおいて、重み減衰とドロップアウトが本当に必要であるかを調査する。ImageNet、CIFAR-10、CIFAR-100のデータセットを用いたアブレーションスタディを通じて、重み減衰とドロップアウトを併用するモデルと比較して、データ拡張のみで同等または優れた一般化性能を達成できることを示している。これは、強力なデータ拡張が適用されている状況では、明示的な正則化が余分である可能性を示唆している。

ABSTRACT

The impressive success of modern deep neural networks on computer vision tasks has been achieved through models of very large capacity compared to the number of available training examples. This overparameterization is often said to be controlled with the help of different regularization techniques, mainly weight decay and dropout. However, since these techniques reduce the effective capacity of the model, typically even deeper and wider architectures are required to compensate for the reduced capacity. Therefore, there seems to be a waste of capacity in this practice. In this paper we build upon recent research that suggests that explicit regularization may not be as important as widely believed and carry out an ablation study that concludes that weight decay and dropout may not be necessary for object recognition if enough data augmentation is introduced.

研究の動機と目的

• 深層畳み込みネットワークにおける一般化に、重み減衰とドロップアウトが不可欠であるかを調査すること。
• 明示的な正則化手法に代わって、データ拡張が十分な代替手段であるかを評価すること。
• 多様なアーキテクチャとデータセットで高い性能を維持しつつ、重み減衰とドロップアウトを削除した場合の影響を評価すること。
• 過学習の制御とテスト精度の向上という観点から、データ拡張と明示的正則化の有効性を比較すること。
• 強いデータ拡張が用いられている状況では、重み減衰とドロップアウトの依存が不必要であることを示すことで、従来のそれらの使用に疑問を呈すること。

提案手法

• All-CNNおよびワイド残差ネットワーク（WRN）アーキテクチャを用い、ImageNet、CIFAR-10、CIFAR-100のデータセットでアブレーションスタディを実施した。
• 重み減衰とドロップアウトを有する・なしの両方の設定でモデルを学習し、3つのデータ拡張スキーム（軽量、重い、なし）を用いた。
• 軽量拡張には水平反転と10%の平行移動を適用した。重い拡張にはアフィン変換、明るさ・コントラストの調整を含めた。
• ImageNetではランダムクロップ（128×128）を、拡張なしの場合には中央クロップを適用した。
• 評価の信頼性を高めるために、10回のランダムな軽量拡張に対してソフトマックス事後確率を平均化してテスト精度を報告した。
• 元の論文で報告されたハイパーパrameterを最適化したが、正則化を削除した場合、最適な学習率が変化する可能性があることを認識した。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークにおける一般化に、重み減衰とドロップアウトによる明示的正則化が必要であるか？
• RQ2 データ拡張のみで、重み減衰とドロップアウトを併用するモデルと同等または優れた一般化性能を達成できるか？
• RQ3 明示的正則化を削除したモデルの性能は、正則化を有するモデルと比較して、どの程度のデータ拡張レベルでも顕著に劣るのか？
• RQ4 データ拡張の有効性はモデルアーキテクチャやデータセットサイズに依存するのか？また、ハイパーパrameterを最適化した明示的正則化と比較してどうなるか？
• RQ5 重み減衰とドロップアウトの利点を、性能の低下を伴わずに、完全にデータ拡張で置き換えられるか？

主な発見

• データ拡張のみで、重み減衰とドロップアウトを併用するモデルと同等または優れた性能を達成しており、特にAll-CNNでは顕著であった。
• CIFAR-10とCIFAR-100（WRN）において、正則化なしのモデルは、それぞれベースライン（正則化あり）と比べて0.13%および0.28%以内のテスト精度に留まり、顕著な性能向上は認められなかった。
• ハイパーパrameterの最適化が不十分な状況（例：CIFAR-100におけるAll-CNN）では、正則化なしのモデルが重み減衰とドロップアウトを併用するモデルを上回った。これは、ハイパーパrameter選択に対するロバスト性が向上していることを示唆している。
• 著者らは、正則化を削除した場合、より高い学習率が性能向上に寄与することを観察した。これは、元のハイパーパラメータが明示的正則化が存在しない状況では非最適である可能性を示している。
• データ拡張は、重み減衰とドロップアウトよりも適応性に富み、ハイパーパラメータチューニングに対して感受性が低く、アーキテクチャやデータセットごとに慎重に調整する必要がないことが分かった。
• 結果から、重み減衰やドロップアウトとは異なり、データ拡張はモデル容量を低下させないため、より効果的かつ十分な正則化手法であることが支持された。