[論文レビュー] Machine Learning's Dropout Training is Distributionally Robust Optimal

José Blanchet, Yang Kang+3 more|arXiv (Cornell University)|Sep 13, 2020

Statistical Methods and Inference参考文献 48被引用数 9

ひとこと要約

この論文は、一般化線形モデル（GLM）におけるドロップアウト訓練が、分布的ロバスト最適化（DRO）に等価であることを確立している。ドロップアウトノイズ（確率δで共変数のエントリをランダムに削除するもの）は、ミニマックスゲームにおけるネイチャー（自然）の最も不利な摂動を表す。主な結果は、ドロップアウト訓練が乗法的共変数摂動に対して理論的な外挙動性能保証を提供することであり、過学習に対するロバスト性を形式化している。

ABSTRACT

This paper shows that dropout training in Generalized Linear Models is the minimax solution of a two-player, zero-sum game where an adversarial nature corrupts a statistician's covariates using a multiplicative nonparametric errors-in-variables model. In this game, nature's least favorable distribution is dropout noise, where nature independently deletes entries of the covariate vector with some fixed probability $δ$. This result implies that dropout training indeed provides out-of-sample expected loss guarantees for distributions that arise from multiplicative perturbations of in-sample data. In addition to the decision-theoretic analysis, the paper makes two more contributions. First, there is a concrete recommendation on how to select the tuning parameter $δ$ to guarantee that, as the sample size grows large, the in-sample loss after dropout training exceeds the true population loss with some pre-specified probability. Second, the paper provides a novel, parallelizable, Unbiased Multi-Level Monte Carlo algorithm to speed-up the implementation of dropout training. Our algorithm has a much smaller computational cost compared to the naive implementation of dropout, provided the number of data points is much smaller than the dimension of the covariate vector.

研究の動機と目的

• ミニマックスフレームワークの下で、ドロップアウト訓練を分布的ロバスト最適化（DRO）手順として形式的に正当化すること。
• ドロップアウトが過学習を緩和する理由を、共変数の敵対的乗法的摂動に対して最適に防御することによって説明すること。
• 標本内損失超過確率に基づいてドロップアウト率δを原理的かつ適切に選択する方法を提供すること。
• 計算コストを低減し、2^d個のドロップアウトパターンの全列挙やナイーブなモンテカルロ法よりもスケーラブルな、不偏なマルチレベルモンテカルロアルゴリズムを構築すること。

提案手法

• ドロップアウトを統計学者と敵（ネイチャー）の2人によるゼロサムゲームとしてモデル化し、ネイチャーが乗法的非パラメトリック誤差項モデルによって共変数を摂動する。
• このゲームのミニマックス解がドロップアウト訓練に一致することを証明し、ネイチャーの最も不利益な分布が確率δの独立したベルヌーイドロップアウトであることを示す。
• ミニマックス定理（Morgensternとvon Neumann, 1953）を適用して、ミニマックス、マキシマックス、およびナッシュ均衡配当の等価性を示す。
• 標本内ドロップアウト損失が真の母集団損失を超える確率を分析することで、新しい調整ルールを導出。δ ≈ c/√n とすることで、事前に指定された信頼水準を達成可能であることを示す。
• 階層的分散低減を活用して、特にn ≪ dの場合に計算コストを大幅に削減する不偏なマルチレベルモンテカルロアルゴリズムを提案。
• 計算複雑度が、ナイーブなモンテカルロ法や2^d個のドロップアウトパターンの全列挙と比較して顕著に低減されることを示す。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト訓練は、敵対的共変数摂動の下で分布的ロバスト最適化問題と等価か？
• RQ2 敵対的ゲームにおけるネイチャーの最も不利益な分布は何か？ それはドロップアウトノイズに対応するか？
• RQ3 ドロップアウト率δをどのように選べば、標本内損失が母集団損失を超える確率を事前に指定された確率以下に抑えられるか？
• RQ4 計算コストが低く、不偏な確率的最適化手法をドロップアウト訓練に適用でき、ナイーブなモンテカルロ法よりもスケーラブルか？

主な発見

• GLMにおけるドロップアウト訓練は、ネイチャーが乗法的非パラメトリックノイズによって共変数を摂動する2人ゼロサムゲームのミニマックス解である。
• ネイチャーの最も不利益な分布は、確率δの独立したベルヌーイドロップアウトであり、ドロップアウトがこのような摂動に対する最適防御であることを確認する。
• 標本内データの任意の乗法的摂動に対する外挙動期待損失は、ドロップアウト訓練下での標本内損失を超えないことが保証される。
• δを固定した場合、ドロップアウト訓練の標本内損失が真の母集団損失を超える確率は1に等しいが、δ = c/√n とすることでこの確率を適切なcを用いて制御可能である。
• 提案された不偏マルチレベルモンテカルロアルゴリズムは、推定子における分散のO(2^{-2K})の減衰を達成し、ナイーブなモンテカルロ法よりも収束が速い。
• 数値実験では、十分な並列反復回数が与えられた場合、新しいアルゴリズムが標準的なSGDを上回り、特に高次元設定（n ≪ d）において顕著な性能向上を示す。