[論文レビュー] Safer Classification by Synthesis

William Yang Wang, Angelina Wang+3 more|arXiv (Cornell University)|Nov 22, 2017

Adversarial Robustness in Machine Learning参考文献 24被引用数 32

ひとこと要約

本稿では、分布外の例に対して頑健性を向上させるために、クラス固有の生成モデル（VAEまたはGAN）を用いた生成的分類フレームワークを提案する。テスト時、与えられた入力に対して全クラスの生成モデルのうち、最も類似した生成画像を出力するものを探し、その対応するクラスを予測する。このアプローチにより、信頼性の高い不確実性推定が可能となり、分布内データにおける高い精度を維持しながら、選択的予測下でリスクが消える（vanishing risk）特性を達成する。

ABSTRACT

The discriminative approach to classification using deep neural networks has become the de-facto standard in various fields. Complementing recent reservations about safety against adversarial examples, we show that conventional discriminative methods can easily be fooled to provide incorrect labels with very high confidence to out of distribution examples. We posit that a generative approach is the natural remedy for this problem, and propose a method for classification using generative models. At training time, we learn a generative model for each class, while at test time, given an example to classify, we query each generator for its most similar generation, and select the class corresponding to the most similar one. Our approach is general and can be used with expressive models such as GANs and VAEs. At test time, our method accurately "knows when it does not know," and provides resilience to out of distribution examples while maintaining competitive performance for standard examples.

研究の動機と目的

• 判別的深層学習モデルが、分布外の例を高い信頼度で誤分類するという安全性の制限を是正すること。
• 生成的モデリングを活用することで、モデルが「自分が知らないとき」を内蔵的に認識できる分類手法を開発すること。
• 安全を要する応用分野における標準的な判別的分類器の代替として、原理的かつ解釈可能で頑健な代替手法を提供すること。
• 生成的モデルが、高精度な分類器としての機能に加え、効果的な新奇性検出器としても機能できるかどうかを評価すること。

提案手法

• 訓練時、ラベル付きデータを用いて各クラスごとに別個の生成モデル（VAEまたはGAN）を学習する。
• テスト時、与えられた入力画像に対して、各生成モデルの潜在空間を探索し、最も類似した生成画像を出力する潜在変数を特定する。
• 入力と最も近い生成画像（L²距離で測定）を出力する生成モデルに対応するクラスを予測として選択する。
• 信頼度は、入力と最も近い生成画像との間のL²距離から導出され、選択的分類が可能になる。
• 類似度に基づく信頼度スコアを用いて、分布外の例を除外し、リスクが消える性質（vanishing risk）を達成する。
• 本手法はVAEおよびGANの両方と互換性があり、生成モデルの学習目的を変更する必要がない。

実験結果

リサーチクエスチョン

• RQ1 標準的な判別的モデルと比較して、生成的モデリングアプローチは、分布外の例に対してより高い頑健性を示すか？
• RQ2 テスト画像とクラス固有の生成モデルから得られる最も近い生成画像との類似度は、信頼度スコアとして信頼できるか？
• RQ3 生成的モデルを用いることで、分布内での高い精度と効果的な新奇性検出の両方を達成できるか？
• RQ4 生成的再構成誤差から導出される信頼度スコアは、リスクが消える選択的分類を可能にするのに十分か？

主な発見

• 生成的分類器は、選択的予測下でリスクが消える（vanishing risk）特性を達成しており、選択性を高めることで誤り率をゼロに近づけることができる。これは、標準的なCNNとは対照的である。
• Omniglotを拡張したMNISTデータセットでは、L²距離を用いた生成的分類器は、CNNに比べてベースライン精度が低かったが、分布外の入力に対しては頑健性を維持していた。
• CNNが高信頼度で誤分類するOmniglot画像に対して、GANベースの生成的分類器は、最小L²距離が約10⁻²を示し、MNIST画像の約10⁻³と比べて1桁大きい値を示しており、低信頼度であることを示している。
• 生成的新奇性検出とCNN分類を組み合わせたシステムは、全カバレッジレベルでCNN単体を上回り、すべてのしきい値で低いリスクを達成した。
• VAEベースの生成的分類器は、KNNが誤分類するMNIST画像を正しく分類しており、これは訓練データに存在しない例であっても、正しいクラスの現実的な画像を生成できることに起因する。
• 本手法は解釈可能性を提供する。分類の意思決定は、明確な生成画像に基づいているため、推論プロセスが透明になる。