[論文レビュー] To Drop or Not to Drop: Robustness, Consistency and Differential Privacy Properties of Dropout

Prateek Jain, Vivek Kulkarni+2 more|arXiv (Cornell University)|Mar 6, 2015

Privacy-Preserving Technologies in Data参考文献 27被引用数 25

ひとこと要約

この論文は、深層学習におけるドロップアウトの理論的基盤を確立し、1隠れ層ニューラルネットワークにおけるロバストネスと一致性の向上を証明するとともに、凸な経験的リスク最小化（ERM）において安定化正則化子としての役割を果たすことを示している。ドロップアウトが高速な一般化誤差率を可能にするとともに、強い凸性を要しない条件下でも微分プライベート学習を可能にし、ベンチマークデータセットにおける実験的評価でL2正則化を上回ることを示している。

ABSTRACT

Training deep belief networks (DBNs) requires optimizing a non-convex function with an extremely large number of parameters. Naturally, existing gradient descent (GD) based methods are prone to arbitrarily poor local minima. In this paper, we rigorously show that such local minima can be avoided (upto an approximation error) by using the dropout technique, a widely used heuristic in this domain. In particular, we show that by randomly dropping a few nodes of a one-hidden layer neural network, the training objective function, up to a certain approximation error, decreases by a multiplicative factor. On the flip side, we show that for training convex empirical risk minimizers (ERM), dropout in fact acts as a "stabilizer" or regularizer. That is, a simple dropout based GD method for convex ERMs is stable in the face of arbitrary changes to any one of the training points. Using the above assertion, we show that dropout provides fast rates for generalization error in learning (convex) generalized linear models (GLM). Moreover, using the above mentioned stability properties of dropout, we design dropout based differentially private algorithms for solving ERMs. The learned GLM thus, preserves privacy of each of the individual training points while providing accurate predictions for new test points. Finally, we empirically validate our stability assertions for dropout in the context of convex ERMs and show that surprisingly, dropout significantly outperforms (in terms of prediction accuracy) the L2 regularization based methods for several benchmark datasets.

研究の動機と目的

• 非凸最適化を伴う深層信念ネットワーク（DBNs）において、ドロップアウトが悪い局所最適解への収束を回避する理由を理論的に説明すること。
• ドロップアウトが凸なERM設定において安定化正則化子として機能することを確立し、訓練データの摂動に対してロバストであることを保証すること。
• 強い凸性を要しない条件下で、ドロップアウトを用いて新たな微分プライベート学習アルゴリズムを設計すること。
• 複数のデータセットおよびモデルタイプにおいて、ドロップアウトの安定性と一般化性能がL2正則化と比較してどのように評価されるかを実験的に検証すること。

提案手法

• 1隠れ層ニューラルネットワークにおいて、最適解に近い状態でない場合、ドロップアウトが目的関数を定数確率で乗法的要因で小さくする、という証明。
• 凸なERMにおいてドロップアウトが重み付きL2正則化に類似した形で作用することを分析し、高速な過剰リスクレートをもたらす。
• 訓練データの削除に対するアルゴリズム安定性（LOO安定性）を活用して、微分プライベート学習アルゴリズムを構築。
• プライバシー保証のためには、ヘッセ行列の期待最小固有値の下界のみを必要とし、強い凸性を要しない。
• 実験では、確定的および標準的なドロップアウトのバリエーションを用いて、ランダムおよび敵対的訓練データ削除下での安定性を比較。
• ロジスティック回帰、線形回帰、およびDBNsの各タスクにおいて、訓練データを部分的に削除した際のテスト誤差の差（マージナル誤差）を安定性の指標として測定。

実験結果

リサーチクエスチョン

• RQ1 非凸な深層学習において、ドロップアウトはどのような条件下で悪い局所最適解への収束を防ぐのか？
• RQ2 凸な経験的リスク最小化（ERM）問題において、ドロップアウトは安定性および一般化誤差にどのように影響を与えるか？
• RQ3 強い凸性を要しない条件下で、ドロップアウトを用いて微分プライベート学習アルゴリズムを設計できるか？
• RQ4 訓練データの摂動に対するロバストネスという観点から、ドロップアウトはL2正則化と比較してどのように異なるか？

主な発見

• 1隠れ層ネットワークにおいて、最適解に近い状態でない場合、ドロップアウトは定数確率で訓練目的関数を乗法的要因で小さくする。これは、悪い局所最適解への回避に理論的根拠を与える。
• 凸なERM設定において、ドロップアウトは重み付きL2正則化と同等の高速な過剰リスク率を誘導し、先行研究よりもタイトな一般化バウンドを達成する。
• ドロップアウトに基づくアルゴリズムは、強い凸性を要せず、ヘッセ行列の期待最小固有値の下界のみに依存することで、微分プライバシーを達成する。
• 実験的に、ロジスティック回帰および線形回帰タスクにおいて、ドロップアウトはランダムおよび敵対的訓練データ削除の両状況で、L2正則化よりも高い安定性を示す。
• Atheistデータセットでは、ドロップアウトベースのモデルがL2正則化モデルを上回る精度を達成しており、顕著なデータ削除（最大50%）に対してもその優位性が維持される。
• MNISTでは、訓練データの50%しか使用しない状況でも、ドロップアウトが標準的なSGDに比べてテスト精度を16%向上させる。これは、強いロバストネスと一般化性能を示している。