[論文レビュー] UQGAN: A Unified Model for Uncertainty Quantification of Deep Classifiers trained via Conditional GANs

Philipp Oberdiek, Gernot A. Fink+1 more|arXiv (Cornell University)|Jan 31, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

UQGANは、クラスごとに条件付きGANを用いてクラス外の例を生成することで、深層画像分類器における一貫した不確実性評価を実現する統合的生成対抗ネットワーク（GAN）ベースのフレームワークを提案する。この手法は、CIFAR10、CIFAR100、Tiny ImageNetの各データセットでOoDおよび誤検出（FP）検出性能を向上させるとともに、モデルの精度を向上させつつ、低いキャリブレーション誤差を維持する。

ABSTRACT

We present an approach to quantifying both aleatoric and epistemic uncertainty for deep neural networks in image classification, based on generative adversarial networks (GANs). While most works in the literature that use GANs to generate out-of-distribution (OoD) examples only focus on the evaluation of OoD detection, we present a GAN based approach to learn a classifier that produces proper uncertainties for OoD examples as well as for false positives (FPs). Instead of shielding the entire in-distribution data with GAN generated OoD examples which is state-of-the-art, we shield each class separately with out-of-class examples generated by a conditional GAN and complement this with a one-vs-all image classifier. In our experiments, in particular on CIFAR10, CIFAR100 and Tiny ImageNet, we improve over the OoD detection and FP detection performance of state-of-the-art GAN-training based classifiers. Furthermore, we also find that the generated GAN examples do not significantly affect the calibration error of our classifier and result in a significant gain in model accuracy.

研究の動機と目的

• 深層ニューラルネットワークにおける原理的でない不確実性評価の欠如に取り組むこと、特に、アレアトリック不確実性とエピステム的不確実性を区別すること。
• 既存のGANベースの手法を上回る、分布外（OoD）および誤検出（FP）検出性能の向上を図ること。
• 生成器の事前学習を必要とせず、不確実性評価を分類器の学習と統合する統合フレームワークの開発。
• GANベースのデータ拡張を通じてモデルの精度を向上させつつ、低いキャリブレーション誤差を維持すること。

提案手法

• 各クラスごとに別々にクラス条件付きGANを用い、Wasserstein損失を適用することで、クラス固有のシャーディングを実現する。
• DNNの最終層でワン・ビズ・オール分類器を同時に学習させることで、クラス条件付き尤度をモデル化する。
• ベイズの定理を適用して事後確率を計算し、原理的で不確実性推定を可能にする。
• 高次元データに対しては、クラス条件付き変分オートエンコーダの潜在空間上でGANを学習させることで、計算複雑性と敵対的干渉を低減する。
• 生成器の事前学習を回避するため、条件付きGANが低次元空間で直接クラス外例を生成できる能力を活用する。
• 分類器と生成器を敵対的訓練によって同時に最適化することで、不確実性推定がキャリブレーションされ、情報量が多くなるようにする。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、深層画像分類器におけるアレアトリック不確実性とエピステム的不確実性を効果的に区別できるか？
• RQ2 条件付きGANによるクラス固有のシャーディングは、グローバルシャーディングと比較して、OoDおよびFP検出においてどのように異なるか？
• RQ3 GANで生成されたクラス外例は、キャリブレーションを劣化させることなく、モデルの精度を向上させることができるか？
• RQ4 変分オートエンコーダの潜在空間上でGANを学習させることで、CIFAR100やTiny ImageNetのような高次元データセットでの性能が向上するか？
• RQ5 提案手法は、最先端のGANベースおよび非GANベースの不確実性評価手法をどの程度上回るか？

主な発見

• CIFAR10では、ドロップアウトを組み合わせた場合、OoD検出のAUCが95.06%に達し（オラクルの99.89%に近い）、他のGANベース手法を顕著に上回る。
• Tiny ImageNetでは、ドロップアウトを用いた場合、FMNISTに対するOoD検出でAUCが99.90%に達し、すべてのベースラインを上回る。
• 同じアーキテクチャを用いた他のGANベース手法と比較して、特にCIFAR100やTiny ImageNetといった困難なデータセットでモデルの精度が向上する。
• UQGANは低キャリブレーション誤差を維持しており、最も困難なOoD設定（Tiny ImageNet vs. FMNIST）においてテスト誤差が1.04%にとどまり、不確実性推定の堅牢性を示している。
• UQGANは、CIFAR10 5-9 や LSUN など、類似したが分布外のデータセットにおいて、すべてのOoD検出ベンチマークで最先端の手法を上回っている。
• 潜在空間上でのGAN学習の使用により、敵対的干渉が軽減され、高次元画像データに対するより安定した学習が可能になった。