[論文レビュー] Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One

Will Grathwohl, Kuan-Chieh Wang+4 more|arXiv (Cornell University)|Dec 6, 2019

Anomaly Detection Techniques and Applications参考文献 49被引用数 86

ひとこと要約

この論文は標準の分類器を結合エネルギーベースモデル(E B M) p(x,y)と p(x)として再定義し、同時に強力な識別・生成性能、較正の改善、分布外検出、敵対的頑健性を実現する。

ABSTRACT

We propose to reinterpret a standard discriminative classifier of p(y|x) as an energy based model for the joint distribution p(x,y). In this setting, the standard class probabilities can be easily computed as well as unnormalized values of p(x) and p(x|y). Within this framework, standard discriminative architectures may beused and the model can also be trained on unlabeled data. We demonstrate that energy based training of the joint distribution improves calibration, robustness, andout-of-distribution detection while also enabling our models to generate samplesrivaling the quality of recent GAN approaches. We improve upon recently proposed techniques for scaling up the training of energy based models and presentan approach which adds little overhead compared to standard classification training. Our approach is the first to achieve performance rivaling the state-of-the-artin both generative and discriminative learning within one hybrid model.

研究の動機と目的

• 標準の分類器を (x,y) 上の結合エネルギーベースモデル(EBM)として再解釈する。
• ロジットが p(x,y) および p(x) の未正規化密度を定義することを示し、アーキテクチャを変更せずに生成能力を有効にする。
• JEMとして訓練した際に、較正、頑健性、分布外検出が改善されることを示す。
• 最新のGANベース手法と比較して、ハイブリッドモデル内で競争力のある生成品質を示す。

提案手法

• pθ(x,y) = exp(fθ(x)[y]) / Z(θ) を定義し、Eθ(x,y) = -fθ(x)[y]。
• pθ(x) = sum_y exp(fθ(x)[y]) / Z(θ)。
• 標準のクロスエントロピーで log p(y|x) を最大化し、SGLDベースの勾配推定で log p(x) を最大化する。
• エネルギー勾配の期待値を近似するために永続的対比散逸を用いる。
• Wide ResNet 系のアーキテクチャとサンプラーを用いて高次元データ上のEBM訓練をスケールさせる。
• CIFAR-10/SVHN/CIFAR-100 データセットでハイブリッドおよび単独の生成モデル/識別モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 標準の分類器を (x,y) 上の結合エネルギーベースモデルとして変更せずに再解釈できるか。
• RQ2 結合EBM訓練は識別性能を維持しつつ、較正、OOD検出、敵対的頑健性を改善するか。
• RQ3 ハイブリッドJEMモデルはISやFIDといったサンプル品質指標で最先端生成モデルと競争できるか。
• RQ4 単一モデル内で、 semi-supervised 学習やデータ生成などの下流タスクでJEMはどのように機能するか。

主な発見

Class	Model	Accuracy%↑	IS↑	FID↓
CIFAR-10	Hybrid (Residual Flow)	70.3	3.6	46.4
CIFAR-10	Glow	67.6	3.92	48.9
CIFAR-10	IGEBM	49.1	8.3	37.9
CIFAR-10	JEM p(x|y) factored	30.1	6.36	61.8
CIFAR-10	JEM (Ours)	92.9	8.76	38.4
CIFAR-10	Disc. Wide-Resnet	95.8	N/A	N/A
CIFAR-10	Gen. SNGAN	N/A	8.59	25.5
CIFAR-10	NCSN	N/A	8.91	25.32

• JEMはCIFAR-10、SVHN、CIFAR-100で競争力のある精度と生成指標を達成し、最先端の生成モデルに匹敵し、従来のハイブリッドモデルを上回る。
• CIFAR-100では、JEMは較正が近似的に整っており、基準と比較して較正エラーが低い。
• JEMは log p(x)、予測最大 p(y|x)、および勾配ベースの「Approximate Mass」スコアを用いた分布外検出を改善する。
• EBMを用いた敵対的頑健性は従来の分類器基準と比べてPGD攻撃に対してより高い耐性を示す。
• クラス条件付きサンプリングと高品質なクラス条件付き画像が実証され、ISとFIDのスコアも競争力がある。