[論文レビュー] Deep Variational Information Bottleneck

Alexander A. Alemi, Ian Fischer+2 more|arXiv (Cornell University)|Dec 1, 2016

Adversarial Robustness in Machine Learning参考文献 38被引用数 367

ひとこと要約

本論文はニューラルネットワークの情報ボトルネックに対する変分近似を導入し、Deep VIBの訓練を可能にして、一般化と敵対的攻撃に対する頑健性を向上させる。

ABSTRACT

We present a variational approximation to the information bottleneck of Tishby et al. (1999). This variational approach allows us to parameterize the information bottleneck model using a neural network and leverage the reparameterization trick for efficient training. We call this method "Deep Variational Information Bottleneck", or Deep VIB. We show that models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness to adversarial attack.

研究の動機と目的

• 深層ネットワークの情報ボトルネック目的関数に対する変分界を導入する。
• ニューラルネットワークを用いてIB目的関数をパラメータ化し、再パラメータ化トリックで最適化する。
• VIBが一般化と敵対的摂動に対する頑健性を向上させることを示す。

提案手法

• 情報ボトルネック目的関数を I(Z,Y) - β I(Z,X) として定式化する。
• Zを確率的エンコード p(z|x) としてモデリングし、変分デコーダ q(y|z) を用いる。
• SGDで最適化可能な扱いやすい下界 L を導出する。
• 再パラメータ化トリックを適用して z をサンプルし、確率的ノードを通じて逆伝播する。
• I(Z,X) を同定するために変分事前分布 r(z) を用い、目的関数にKL項を導入する。
• MNIST および ImageNet 上でニューラルネットワークエンコーダ/デコーダを用いて、決定論的ベースラインと比較する実験を行う。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの情報ボトルネックを変分推論でスケーラブルに最適化することは可能か？
• RQ2 VIB目的関数での訓練は正則化ベースラインと比較して一般化を改善するか？
• RQ3 VIBフレームワークは標準的な訓練より敵対的摂動に対して頑健か？
• RQ4 圧縮レベル（β）はボトルネックの情報量と予測性能にどう影響するか？

主な発見

モデル	エラー
ベースライン	1.38%
ドロップアウト	1.34%
ドロップアウト (Pereyra et al., 2017)	1.40%
信頼度ペナルティ	1.36%
信頼度ペナルティ (Pereyra et al., 2017)	1.17%
ラベル平滑化	1.40%
ラベル平滑化 (Pereyra et al., 2017)	1.23%
VIB (β=10^{-3})	1.13%

• VIBは、いくつかの正則化ベースラインと比較してパーミュテーション不変な MNIST でのテスト誤差をより低く抑える（1.13%）。
• β が中間域にあると、z のモンテカルロ平均化が頑健性を向上させつつ精度を損なわない。
• VIBモデルはMNISTにおけるFGSおよびL2最適化攻撃下で従来の決定論的ベースラインより敵対的攻撃に対する頑健性を示す。
• β を大きくすると I(Z,X) が小さくなる一方で訓練データ上の予測力を維持でき、IBのトレードオフを示す。
• ImageNet では、VIB は決定論的ベースラインには見られない敵対的耐性を示す。