[論文レビュー] Robust Variational Autoencoder

Haleh Akrami, Anand A. Joshi+3 more|arXiv (Cornell University)|May 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 15

ひとこと要約

本稿では、訓練データ内の外れ値に対してより頑健な性能を発揮するよう、標準的なKullback-Leibler（KL）ダイバージェンスの代わりにβ-ダイバージェンスを用いるロバストな変分オートエンコーダー（RVAE）を提案する。変分推論の目的関数においてKLダイバージェンスをβ-ダイバージェンスに置き換えることで、計算コストにほとんど影響を与えることなく外れ値の符号化を効果的に抑制し、画像データ、特に医用脳MRIにおいて信頼性の高い表現学習と異常検出を実現する。

ABSTRACT

Machine learning methods often need a large amount of labeled training data. Since the training data is assumed to be the ground truth, outliers can severely degrade learned representations and performance of trained models. Here we apply concepts from robust statistics to derive a novel variational autoencoder that is robust to outliers in the training data. Variational autoencoders (VAEs) extract a lower-dimensional encoded feature representation from which we can generate new data samples. Robustness of autoencoders to outliers is critical for generating a reliable representation of particular data types in the encoded space when using corrupted training data. Our robust VAE is based on beta-divergence rather than the standard Kullback-Leibler (KL) divergence. Our proposed lower bound lead to a RVAE model that has the same computational complexity as the VAE and contains a single tuning parameter to control the degree of robustness. We demonstrate the performance of our $β$-divergence based autoencoder for a range of image datasets, showing improved robustness to outliers both qualitatively and quantitatively. We also illustrate the use of our robust VAE for outlier detection.

研究の動機と目的

• 訓練データに含まれる外れ値の影響による変分オートエンコーダーの性能低下を是正すること。
• 綺麗なデータや複雑なアーキテクチャの変更を必要とせず、汚染されたり誤分類されたデータに対しても頑健な確率的生成モデルを構築すること。
• 外れ値が潜在空間に符号化されないよう保証することで、テスト画像における異常検出を効果的に行えるようにすること。
• モデルの頑健性の程度を制御するための単一の調整可能なハイパーパrameter（β）を提供すること。
• ベンチマーク画像データセットおよびシミュレート済み・実際の病変を含む実世界の医用画像データに対して、本手法の有効性を実証すること。

提案手法

• 変分オートエンコーダーの目的関数における標準的なKullback-Leibler（KL）ダイバージェンスを、ロバスト統計学における外れ値に強い統計的ダイバージェンスであるβ-ダイバージェンスに置き換える。
• β-ダイバージェンスを用いて、エビデンス下界（ELBO）の下界を導出し、外れ値の影響を軽減する新しい目的関数を構築する。
• ベルヌーイ分布およびガウス分布の尤度モデルの両方に対してβ-ダイバージェンスフレームワークを適用し、バイナリ画像および連続値画像データへの適用を可能にする。
• 得られた目的関数を最適化するために確率的勾配降下法を用い、標準VAEと同等の計算複雑度を維持する。
• 生成された画像および再構成された画像を視覚的に確認することで、望ましいばらつきと現実性を得られるように、最適なβ値を特定する視覚的アプローチを導入する。
• ノーマルな脳MRIデータを用いて訓練し、シミュレート済みおよび実際の病変を含む評価を実施することで、医用画像分野への応用を拡張する。

実験結果

リサーチクエスチョン

• RQ1 VAEの目的関数におけるKLダイバージェンスをβ-ダイバージェンスに置き換えることで、訓練データ内の外れ値に対する頑健性が向上するか？
• RQ2 βパラメータの選択が、正常なサンプルの再構成能力と外れ値の符号化回避能力にどのように影響するか？
• RQ3 訓練データに外れ値が存在する状況下でも、再構成誤差が大きく発生することにより、テスト画像における異常検出が可能になるか？
• RQ4 実際の医用画像データにおいて、再構成品質と異常検出のAUC指標の観点から、標準VAEと比較してRVAEの性能は向上するか？
• RQ5 生成および再構成された画像の視覚的確認によって、ロバスト性と生成多様性の最適なトレードオフを達成できるように、β-ダイバージェンスに基づくアプローチを有効にチューニングできるか？

主な発見

• シミュレート済みの外れ値を含む脳MRIデータにおいて、RVAEはAUCが0.85を達成したのに対し、標準VAEではわずか0.20にとどまり、異常検出において顕著な定量的優位性を示した。
• β = 0.0007のとき、外れ値の再構成画像と潜在空間からの生成画像が視覚的に区別できなくなり、外れ値が正常データの多様体上に投影されたことを示した。
• 10%の外れ値を含むFashion-MNISTデータセットにおいて、β = 0.0007で再構成品質と生成多様性の両面で最適な性能が得られ、再構成類似度のヒートマップ分析によって裏付けられた。
• RVAEは、シミュレート済みおよび実際の脳MRIの病変の再構成を効果的に抑制し、再構成誤差による明確な異常検出を可能にした。一方、標準VAEは病変をありふれた正常なサンプルとして再構成していた。
• 計算複雑度は標準VAEと同等であり、調整可能なハイパーパrameterはβの1つのみを導入するため、実世界への展開に実用的である。
• 生成および再構成された画像の視覚的確認は、最適なβ値の特定に有効であった。これは、将来の研究で adversarial training を組み合わせることで拡張可能な、非自動化されたハイパーパramータ選定手法である可能性を示唆している。