[論文レビュー] Building robust classifiers through generation of confident out of distribution examples

Kumar Sricharan, Ashok N. Srivastava|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning参考文献 9被引用数 13

ひとこと要約

本稿では、分類器が非常に自信を持っている（エントロピーが低い）分布外（OOD）サンプルを生成する、GANベースの新規手法ConfGANを提案する。その後、分類器をこれらのサンプルに対して不確実性を最大化（エントロピーが高くなるように）するように訓練する。明示的に自信のあるOOD例に焦点を当てることで、ConfGANはSOTA（最先端）のOOD検出性能を達成し、データセットによってはBoundaryGANを最大12%上回るAUROCを達成する。

ABSTRACT

Deep learning models are known to be overconfident in their predictions on out of distribution inputs. There have been several pieces of work to address this issue, including a number of approaches for building Bayesian neural networks, as well as closely related work on detection of out of distribution samples. Recently, there has been work on building classifiers that are robust to out of distribution samples by adding a regularization term that maximizes the entropy of the classifier output on out of distribution data. To approximate out of distribution samples (which are not known apriori), a GAN was used for generation of samples at the edges of the training distribution. In this paper, we introduce an alternative GAN based approach for building a robust classifier, where the idea is to use the GAN to explicitly generate out of distribution samples that the classifier is confident on (low entropy), and have the classifier maximize the entropy for these samples. We showcase the effectiveness of our approach relative to state-of-the-art on hand-written characters as well as on a variety of natural image datasets.

研究の動機と目的

• 深層ニューラルネットワークが分布外（OOD）入力に対して過信しすぎる問題に対処すること。
• トレーニング中に自信のあるOOD例を明示的にモデル化することで、分類器のOODサンプルに対するロバスト性を向上させること。
• 分類器が過信しているOODサンプルを生成できるGANベースの手法を開発し、標的となる不確実性正則化を可能にすること。
• トレーニングデータの分布に近い境界サンプルを生成する既存手法（例：BoundaryGAN）を上回ること。
• 手書き文字および自然画像データセットの両方で有効性を示すこと。

提案手法

• ConfGANは、トレーニングデータ分布から大きく離れているが、分類器が低エントロピー（非常に自信を持っている）予測を出すような分布外（OOD）サンプルを生成するGANを用いる。
• 生成器は、分類器の出力が一様に近づかないように、逆KLダイバージェンス損失を用いて、生成されたサンプルにおける分類器の信頼度を最大化するように訓練される。
• 全体の訓練目的は、分布内データに対する標準的な交差エントロピー損失と、GANで生成されたOODサンプルにおける分類器出力のエントロピーを最大化する正則化項の組み合わせからなる。
• 識別器の損失は、生成されたサンプルが現実的で、分布内データとは明確に異なることを保証する。一方、生成器は分類器を過信させるように最適化される。
• 分類器は、分布内データに対する交差エントロピーを最小化するとともに、生成されたOODサンプルにおけるエントロピーを最大化するように訓練され、強い勾配信号を提供する前方KLダイバージェンスが用いられる。
• この手法は反復的に生成器を改善し、次第に困難で自信のあるOOD例を生成することで、分類器の未観測OOD入力への一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分類器が自信を持っている分布外サンプルを生成することで、OOD検出のロバスト性が向上するか？
• RQ2 トレーニング分布の周辺に近い境界サンプルではなく、自信のあるOOD例に焦点を当てることで、分類器の不確実性キャリブレーションが改善されるか？
• RQ3 ConfGANは、CIFAR、SVHN、ImageNet、LSUNなどの多様なデータセットにおいて、BoundaryGANと比較してOOD検出性能に優れているか？
• RQ4 本手法は、トレーニング時に真のOODデータにアクセスできない状況でも、ほぼオラクル性能に近いOOD検出を達成できるか？
• RQ5 生成器に対する逆KL訓練目的は、分類器の不確実性を向上させる高信頼度のOODサンプルを効果的に生成できるか？

主な発見

• ConfGANは、CIFAR、SVHN、ImageNet、LSUNデータセットの全般で、平均してAUROCが約12%向上し、BoundaryGANを顕著に上回る。
• EMNIST対FashionMNISTのベンチマークでは、ConfGANの検出性能は、FashionMNISTをOODデータとして使用して訓練されたオラクル分類器に非常に近い。
• ConfGANの生成器は、明らかにトレーニング分布とは異なる、不完全で抽象的な文字部分を生成しており、自信のあるOODサンプルの生成に成功していることが示唆される。
• BoundaryGANは、トレーニング分布の端縁に近い現実的な文字を生成するが、ConfGANはより多様で言語的ではない、高信頼度のOODパターンを生成する。
• ConfGANは、自然画像および手書き文字の両方のデータセットで一貫した性能向上を示しており、広範な適用可能性を示している。
• 本手法は、手書き文字および自然画像のOOD検出ベンチマークの両方でSOTA結果を達成しており、その有効性が検証された。