[論文レビュー] Variance Networks: When Expectation Does Not Meet Your Expectations

Kirill Neklyudov, Dmitry Molchanov+2 more|arXiv (Cornell University)|Mar 10, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用数 13

ひとこと要約

この論文では、重みが平均がゼロに固定された分散のみでパラメータ化される、新しい確率的ニューラルネットワークアーキテクチャ「バリアンスネットワーク」を紹介する。期待される重み値を捨てても、これらのネットワークは競争力のある性能を達成し、敵対的攻撃に対して耐性が高く、強化学習における有効な探索手法としても機能し、深層学習における重み期待値への従来の依存を疑問視する。

ABSTRACT

Ordinary stochastic neural networks mostly rely on the expected values of their weights to make predictions, whereas the induced noise is mostly used to capture the uncertainty, prevent overfitting and slightly boost the performance through test-time averaging. In this paper, we introduce variance layers, a different kind of stochastic layers. Each weight of a variance layer follows a zero-mean distribution and is only parameterized by its variance. We show that such layers can learn surprisingly well, can serve as an efficient exploration tool in reinforcement learning tasks and provide a decent defense against adversarial attacks. We also show that a number of conventional Bayesian neural networks naturally converge to such zero-mean posteriors. We observe that in these cases such zero-mean parameterization leads to a much better training objective than conventional parameterizations where the mean is being learned.

研究の動機と目的

• 重みの平均をゼロに固定し、情報の保存を重みの分散にのみ依存する深層ニューラルネットワークの実現可能性と性能を検討すること。
• 分散のみのパラメータ化が、学習目的および一般化性能において、従来のベイジアンニューラルネットワークの手法を上回る可能性があるかどうかを調査すること。
• バリアンスネットワークの敵対的攻撃に対する耐性と、強化学習における探索効果を評価すること。
• より単純な事後分布近似（ゼロ平均）が、より柔軟な近似よりも優れた変分推論目的（ELBO）を達成するという直感に反する現象を検討すること。

提案手法

• 各重みがゼロ平均ガウス分布 $\mathcal{N}(0, \sigma_{ij}^2)$ に従う「バリアンスレイヤー」を導入し、学習可能なパrameterは分散 $\sigma_{ij}^2$ のみとする。
• 標準的な確率的最適化を用いて学習し、正則化を加えた期待負対数尤度を最小化する。1サンプルによる勾配推定を用いる。
• 推論時においては、実用的な慣例に従い、期待される重み値をその平均（重みスケーリング則）に置き換える。
• 予測分布を近似するために、テスト時平均化を $K$ サンプルで行うが、本論文ではこれがしばしば不要であることが示されている。
• 教師あり分類、強化学習（パラメータノイズを用いたポリシー勾配）、敵対的耐性実験の3つの分野にバリアンスネットワークを適用する。
• CIFAR-10およびOpenAI Gym環境において、標準的なベイジアンモデル（例：変分ドロップアウト、MCドロップアウト）、決定的ネットワーク、ディープアンサンブルと比較する。

実験結果

リサーチクエスチョン

• RQ1 重みの平均をすべてゼロに固定し、分散のみを学習する場合に、深層ニューラルネットワークが競争力ある性能を達成できるか？
• RQ2 より単純な事後分布近似（ゼロ平均）が、より柔軟なパラメータ化よりも優れた変分推論目的（ELBO）を達成するか？
• RQ3 敵対的攻撃に対する耐性という観点から、バリアンスネットワークの性能が、標準的なベイジアンモデルやアンサンブルと比べてどうなるか？
• RQ4 重み期待値に依存せずに、バリアンスネットワークが強化学習における有効な探索メカニズムとして機能できるか？

主な発見

• バリアンスネットワークは、重みの平均をゼロに固定してもCIFAR-10で競争力ある分類精度を達成し、標準的なベイジアンベースラインと同等またはそれを上回る。
• 敵対的攻撃（特に標的攻撃）に対して、標準的なドロップアウトや決定的ネットワークよりも優れた耐性を示し、バリアンスネットワークのディープアンサンブルはさらに優れた防御性能を示す。
• 強化学習において、パラメータノイズを用いたバリアンスネットワークは、標準的なパラメータノイズポリシーを上回る最終的な性能を示し、より優れた探索能力と安定性を示す。
• 従来のベイジアンモデル（例：変分ドロップアウト、MCドロップアウト）は自然にゼロ平均事後分布に収束するため、分散のみのパラメータ化は単なる珍念ではなく、訓練の一般的な結果である可能性がある。
• 変分推論目的（ELBO）はゼロ平均事後分布を用いることで顕著に向上し、より柔軟なパラメータ化が常に優れた近似をもたらすという仮定に反する。