[論文レビュー] Variational Inference based on Robust Divergences

Futoshi Futami, Issei Sato+1 more|arXiv (Cornell University)|Oct 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 26

ひとこと要約

この論文は、標準のKullback-Leibler発散の代わりにβ-およびγ-発散のようなロバストな発散を用いることで、ベイジアンニューラルネットワークにおける外れ値への耐性を向上させるロバストな変分推論手法を提案する。Zellnerの最適化フレームワークを活用することで、入力および出力の両方に対して影響関数が有界になるように保証され、データ汚染下でも深層ネットワークにおける安定した推論が可能になる。実験結果では、ノイズのあるデータを用いた回帰および分類タスクにおいて、標準的な変分推論よりも優れた性能を示している。

ABSTRACT

Robustness to outliers is a central issue in real-world machine learning applications. While replacing a model to a heavy-tailed one (e.g., from Gaussian to Student-t) is a standard approach for robustification, it can only be applied to simple models. In this paper, based on Zellner's optimization and variational formulation of Bayesian inference, we propose an outlier-robust pseudo-Bayesian variational method by replacing the Kullback-Leibler divergence used for data fitting to a robust divergence such as the beta- and gamma-divergences. An advantage of our approach is that superior but complex models such as deep networks can also be handled. We theoretically prove that, for deep networks with ReLU activation functions, the \emph{influence function} in our proposed method is bounded, while it is unbounded in the ordinary variational inference. This implies that our proposed method is robust to both of input and output outliers, while the ordinary variational method is not. We experimentally demonstrate that our robust variational method outperforms ordinary variational inference in regression and classification with deep networks.

研究の動機と目的

• 実世界のデータにおける入力および出力の外れ値に対処する際、標準的な変分推論に見られるロバスト性の欠如を解消すること。
• 変分推論を用いて、複雑な深層ニューラルネットワークにまで拡張可能なロバストなベイジアン推論を実現すること。
• ロバストな発散が有界な影響関数をもたらすという理論的および実験的証明を行い、データ汚染下でも安定性が保証されることを示すこと。
• ノイズや汚染されたデータ下でも性能を維持できるスケーラブルな、擬似ベイジアンフレームワークを提供すること。

提案手法

• 変分推論におけるKullback-Leibler発散を、外れ値への感受性を低減するためのロバストな発散（β-発散およびγ-発散）に置き換える。
• Zellnerの最適化およびベイジアン推論の変分定式化を採用し、ロバストな擬似ベイジアン推論手順を導出する。
• 再パラメータライゼーショントリックと確率的最適化（Adam）を用いて、変分事後分布近似を伴う深層ニューラルネットワークの学習を実施する。
• モデル密度の累乗を用いた重み付き尤度アプローチを導入し、低確率（外れ値）のデータポイントの影響を低減する。
• 影響関数解析を用いて、外れ値汚染下でのモデル摂動の有界性を理論的および実験的に検証する。
• ベンチマークデータセットを用いた交差検証により、ハイパーパrameter（β, γ, α）を調整し、ロバスト性および予測性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 β-およびγ-発散のようなロバストな発散を、深層ニューラルネットワークにおける変分推論のロバスト性向上に効果的に応用できるか？
• RQ2 提案手法は、標準的な変分推論とは異なり、入力および出力の両方の外れ値に対して有界な影響関数を達成するか？
• RQ3 データ汚染下において、提案手法の予測性能は標準的な変分推論と比べてどのように異なるか？
• RQ4 訓練データに不適切な外れ値が含まれる状況でも、この手法は回帰および分類タスクにおいて高い予測精度を維持できるか？

主な発見

• ReLU活性化関数を用いた深層ネットワークにおいて、提案手法の影響関数は有界である一方、標準的な変分推論では有界でないことが示され、入力および出力の両方の外れ値に対して本質的なロバスト性を有することが裏付けられた。
• 実験結果から、入力および出力の外れ値を人工的に導入した状況下でも、回帰および分類タスクにおけるテスト尤度（log-likelihood）の観点で、提案手法が標準的な変分推論を上回ることが確認された。
• ラベルの誤指定下でも、提案手法は標準的なVIと比較してテスト尤度の平均低下が小さく抑えられ、データエラー下でもより安定した予測を実現していることが示された。
• 影響関数解析により、外れ値がモデルパラメータおよび予測分布に与える影響が制限されており、無限に増大しないことが確認された。
• 交差検証により選択されたハイパーパrameterを用いて、回帰および分類ベンチマークを含む複数のデータセットで、提案手法は一貫したロバストな性能を発揮した。
• ロバストな発散の使用により、特に不適切または汚染されたサンプルを含む学習データ下でも、より安定的かつ信頼性の高い事後分布近似が得られた。