[論文レビュー] Dropout with Expectation-linear Regularization

Xuezhe Ma, Yingkai Gao+4 more|arXiv (Cornell University)|Sep 26, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用数 13

ひとこと要約

この論文は、ドロップアウト学習における推論ギャップを明示的に制御する期待線形正則化を提案する。モデルのテスト時動作がトレーニング時のアンサンブル近似から逸れる現象を対象としている。トレーニング時と推論時の期待出力の差を正則化することで、計算コストを増加させることなく一般化性能を向上させ、MNIST、CIFAR-10、CIFAR-100の複数のアーキテクチャで一貫した精度向上を達成した。

ABSTRACT

Dropout, a simple and effective way to train deep neural networks, has led to a number of impressive empirical successes and spawned many recent theoretical investigations. However, the gap between dropout's training and inference phases, introduced due to tractability considerations, has largely remained under-appreciated. In this work, we first formulate dropout as a tractable approximation of some latent variable model, leading to a clean view of parameter sharing and enabling further theoretical analysis. Then, we introduce (approximate) expectation-linear dropout neural networks, whose inference gap we are able to formally characterize. Algorithmically, we show that our proposed measure of the inference gap can be used to regularize the standard dropout training objective, resulting in an \emph{explicit} control of the gap. Our method is as simple and efficient as standard dropout. We further prove the upper bounds on the loss in accuracy due to expectation-linearization, describe classes of input distributions that expectation-linearize easily. Experiments on three image classification benchmark datasets demonstrate that reducing the inference gap can indeed improve the performance consistently.

研究の動機と目的

• 標準ドロップアウトにおける推論ギャップを形式的に特徴づけること。ここで、テスト時推論はアンサンブル平均とは異なり、スケーリングされた単一ネットワークを用いる。
• 理論的裏付けがあり、計算が容易な方法を考案し、トレーニング中にこのギャップを定量化・制御すること。
• トレーニング時とインフェンス時の動作の乖離を明示的に最小化する正則化スキームを提案すること。
• 推論ギャップを低減することが、トレーニング効率を損なわずにモデルの一般化性能を向上させることを示すこと。
• 理論的分析を通じて、重み制約（例：max-norm）と推論ギャップの低減との間の関係を確立すること。

提案手法

• 潜在変数モデルの扱いやすい近似としてドロップアウトを定式化し、パラメータ共有の分析を明確にした。
• トレーニング時とインフェンス時の期待出力の乖離を測るための期待線形化の概念を導入した。
• 標準ドロップアウト損失に、推論ギャップのサンプリング推定値を加えた正則化されたトレーニング目的関数を提案した。
• 最適化のため、トレーニング中に期待線形化リスクをモンテカルロサンプリングで近似した。
• ハイパーパrameter λ を用いて、推論ギャップ低減とモデル精度のトレードオフを調整した。
• 理論的分析により、重みにmax-norm制約を課すと推論ギャップが低減することが示された。これは、その手法が実験的に成功する理由を説明する根拠となった。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトにおける推論ギャップ—テスト時動作がトレーニング時のアンサンブル平均とは異なる—を形式的に定量化する方法は何か？
• RQ2 max-norm などの重み制約と推論ギャップの大きさとの関係は何か？
• RQ3 明示的に推論ギャップを正則化することは、実際の一般化性能の向上に寄与するか？
• RQ4 正則化強度を変化させた場合、推論ギャップ低減とモデル精度のトレードオフはどのように変化するか？
• RQ5 提案手法は、モンテカルロドロップアウト やドロップアウト蒸留といった既存のドロップアウト変種を上回るか、同等の性能を発揮するか？

主な発見

• MNISTでは、2層のReLUネットワーク（8192ユニット）を用いた場合、標準ドロップアウトのテスト誤差1.07％が、期待線形化を適用した場合に0.90％に低下した。
• CIFAR-10では、AllConvを用いた場合、10.86％の誤差を達成し、ドロップアウト蒸留の10.81％と同等で、標準ドロップアウト（11.18％）を上回った。
• CIFAR-100では、AllConvを用いた場合、35.10％の誤差を達成し、標準ドロップアウト（35.50％）を上回り、ドロップアウト蒸留（35.07％）と同等の性能を発揮した。
• 経験的期待線形化リスク（Δ̂）はλの増加に伴い減少し、より高い正則化が推論ギャップを低減することを確認した。
• 最適なλ値はギャップ低減と精度のバランスをとるもので、データセット全体でλ＝1.0～2.0の範囲で性能がピークに達した。
• 理論的分析により、max-norm制約が推論ギャップを低減することが確認され、深層学習におけるその広範な使用が正当化された。