[論文レビュー] Interpreting and Boosting Dropout from a Game-Theoretic View

Zhang, Hao, Sen Li+4 more|arXiv (Cornell University)|Sep 24, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 7

ひとこと要約

本論文はドロップアウトをゲーム理論的解釈することで、深層ニューラルネットワーク（DNN）における特徴相互作用の強度を抑制することを証明し、過学習と相関することを示している。また、高次相互作用を明示的にペナルティ化する相互作用損失を導入し、制御可能な正則化とバッチ正則化との互換性を実現し、特に深層ネットワークにおいてドロップアウトを上回る性能を発揮する。

ABSTRACT

This paper aims to understand and improve the utility of the dropout operation from the perspective of game-theoretic interactions. We prove that dropout can suppress the strength of interactions between input variables of deep neural networks (DNNs). The theoretic proof is also verified by various experiments. Furthermore, we find that such interactions were strongly related to the over-fitting problem in deep learning. Thus, the utility of dropout can be regarded as decreasing interactions to alleviate the significance of over-fitting. Based on this understanding, we propose an interaction loss to further improve the utility of dropout. Experimental results have shown that the interaction loss can effectively improve the utility of dropout and boost the performance of DNNs.

研究の動機と目的

• 入力特徴間のゲーム理論的相互作用の観点から、ドロップアウトの正則化メカニズムを理解すること。
• DNNにおける特徴相互作用と過学習の問題との関係を調査すること。
• 一般化を向上させるために相互作用強度を明示的に制御する新しい正則化法—相互作用損失—を開発すること。
• 相互作用損失がバッチ正則化との互換性を有するか、ドロップアウトと比較して性能に優れていることを実証すること。

提案手法

• 論文はゲーム理論のシャープレイ値を用いて特徴相互作用を定義し、ある入力変数の重要性が他の変数がマスクされたときにどのように変化するかを測定する。
• 数学的にドロップアウトが、確率0.5で特徴を独立にサンプリングすることで相互作用強度を低減することを証明し、バンザフ値の計算と一致することを示す。
• ハイパーパrameter λ を用いて正則化強度を制御するように、トレーニング中に高次相互作用を明示的にペナルティ化する相互作用損失を提案する。
• 相互作用損失は、相互作用が最も影響を及ぼす低レベルの畳み込み特徴に適用され、バッチ正則化と互換性があることが示された。
• 合計相互作用を順序別成分に分解し、強く相互作用する入力領域を可視化する。
• 実験では、複数のデータセット（CIFAR-10、Tiny ImageNet、CelebA）とアーキテクチャ（AlexNet、VGG、ResNet）において、相互作用損失とドロップアウトを比較した。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトは、深層ニューラルネットワークにおける入力特徴間の相互作用強度にどのように影響するか？
• RQ2 DNNにおける特徴相互作用と過学習問題との関係は何か？
• RQ3 相互作用強度を明示的に制御する正則化法を設計できるか？
• RQ4 相互作用損失は、性能およびバッチ正則化との互換性においてドロップアウトと比較してどう異なるか？

主な発見

• ドロップアウトは、確率0.5で特徴を独立にサンプリングすることで、入力特徴間の相互作用強度を低減する。これは、バンザフ値の計算と数学的に同等である。
• 過学習したサンプルは、クリーンなサンプルと比較して顕著に強い特徴相互作用を示し、高次相互作用と過学習の関連性を確認した。
• 相互作用損失は、ResNet-18 においてドロップアウトを上回り、Tiny ImageNet では94.6％の正確度を達成した（ドロップアウトでは92.1％）、CelebA では92.1％（ドロップアウトでは91.5％）を記録した。
• λ が適切にチューニングされた場合、すべての評価対象モデルおよびデータセットにおいて、相互作用損失はドロップアウトを上回るテスト正確度を達成した。
• 相互作用損失はバッチ正則化と互換性があるが、ドロップアウトはバッチ正則化と併用すると、Tiny ImageNet で1.4％、CelebA で0.6％正確度が低下する。
• 相互作用の抑制は、高レベルの全結合層ではなく、低レベルの畳み込み特徴に損失を適用した場合に最も効果的である。