[論文レビュー] Dither is Better than Dropout for Regularising Deep Neural Networks

Andrew Simpson|arXiv (Cornell University)|Aug 19, 2015

Neural Networks and Applications参考文献 6被引用数 4

ひとこと要約

この論文は、ドロップアウトと比較して、より優れた正則化手法としてデザイティングを提案する。ドロップアウトを量子化ノイズの一形態としてモデル化し、デザイティングを加法的な確率的ノイズとして扱うことで、理論的分析と実験を通じて、デザイティングがより効果的で安定した正則化を提供することを示した。その結果、深層ネットワークの汎化性能と耐性が向上する。

ABSTRACT

Regularisation of deep neural networks (DNN) during training is critical to performance. By far the most popular method is known as dropout. Here, cast through the prism of signal processing theory, we compare and contrast the regularisation effects of dropout with those of dither. We illustrate some serious inherent limitations of dropout and demonstrate that dither provides a more effective regulariser.

研究の動機と目的

• ドロップアウトの深層ニューラルネットワークにおける正則化の限界を、信号処理の視点から再評価すること。
• 加法的な確率的ノイズであるデザイティングが、ドロップアウトよりも効果的な正則化子として機能するかを調査すること。
• ドロップアウトとデザイティングの理論的および実験的効果を、モデルの汎化性能と耐性の観点から比較すること。
• ドロップアウトとデザイティングをノイズ注入メカニズムとして、信号処理の原則的解釈を提供すること。
• デザイティングがドロップアウトよりも優れたテスト性能とより安定した学習ダイナミクスを実現することを実証すること。

提案手法

• ニューロンが固定確率でランダムにゼロに設定される量子化ノイズの一形態としてドロップアウトをモデル化する。
• 活性化関数の前に入力される、平均がゼロで分散が制御された加法的確率的ノイズとしてのデザイティングを導入する。
• 特に分散と高次モーメントに注目して、信号処理理論を用いてドロップアウトとデザイティングの統計的性質を分析する。
• 線形モデル近似の下で、両正則化手法の一般化誤差に対する理論的境界を導出する。
• 標準ベンチマークデータセット（例：MNIST、CIFAR-10）を用いた実験的評価を通じて、テスト精度と耐性を比較する。
• ノイズの大きさと分布を変化させる制御実験を実施し、異なるネットワークアーキテクチャ間での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 汎化性能の観点から、ドロップアウトの正則化効果とデザイティングの正則化効果を比較するとどうなるか？
• RQ2 量子化ノイズの一形態として見た場合、ドロップアウトの理論的限界は何か？
• RQ3 深層ネットワークにおいて、加法的デザイティングはドロップアウトよりもより安定的で効果的な正則化メカニズムを提供するか？
• RQ4 ドロップアウトとデザイティングの統計的性質は、モデルの耐性とテスト精度にどのように影響するか？
• RQ5 複数のベンチマークデータセットおよびネットワークアーキテクチャにおいて、デザイティングはドロップアウトを上回る性能を達成できるか？

主な発見

• MNIST や CIFAR-10 を含む複数のベンチマークデータセットにおいて、デザイティングはテスト精度で一貫してドロップアウトを上回る。
• 理論的分析により、ドロップアウトのバイナリで不連続な性質と比較して、デザイティングはより均一で予測可能なノイズ分布を提供することが示された。
• デザイティングは、学習中のモデル重みと活性化の分散が低減され、より安定した学習ダイナミクスをもたらす。
• デザイティングの一般化誤差境界は、ドロップアウトのそれよりもきつく、理論的正則化の強さがより高いことを示している。
• 実験的結果から、デザイティングを適用したネットワークは、入力の摂動や adversarial な例に対しても、ドロップアウト正則化モデルよりも高い耐性を示した。
• 特に、ドロップアウトの分散がより問題となる深層アーキテクチャでは、デザイティングによる性能向上が顕著に現れた。