[論文レビュー] Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One

Will Grathwohl, Kuan-Chieh Wang+4 more|arXiv (Cornell University)|Dec 6, 2019

Anomaly Detection Techniques and Applications被引用数 119

ひとこと要約

この論文は標準的な識別分類器を結合エネルギーベースモデル（EBMs）として再解釈し、それらを p(x, y) および p(x) をモデル化するよう訓練し、識別性能と生成性能の競合を達成しつつ、較正、OOD検出、頑健性を改善する。

ABSTRACT

We propose to reinterpret a standard discriminative classifier of p(y|x) as an energy based model for the joint distribution p(x,y). In this setting, the standard class probabilities can be easily computed as well as unnormalized values of p(x) and p(x|y). Within this framework, standard discriminative architectures may beused and the model can also be trained on unlabeled data. We demonstrate that energy based training of the joint distribution improves calibration, robustness, andout-of-distribution detection while also enabling our models to generate samplesrivaling the quality of recent GAN approaches. We improve upon recently proposed techniques for scaling up the training of energy based models and presentan approach which adds little overhead compared to standard classification training. Our approach is the first to achieve performance rivaling the state-of-the-artin both generative and discriminative learning within one hybrid model.

研究の動機と目的

• 標準的な分類器を結合エネルギーベースモデルとして再定義し、p(x, y) および p(x) をモデル化する。
• ラベルなしデータでの訓練を可能にしつつ、識別性能を維持する。
• エネルギー学習を通じて較正、頑健性、アウト・オブ・ディストリビューション検出を向上させる。
• 単一のモデル内で識別精度と競争力のある生成能力を実証する。

提案手法

• 分類器のロジットから p(x, y) を pθ(x,y) = exp(fθ(x)[y]) / Z(θ) により定義し、エネルギー Eθ(x,y) = -fθ(x)[y]。
• y を周辺化して未正規化された p(x) を得る: pθ(x) = sum_y exp(fθ(x)[y]) / Z(θ)。
• p(x) のエネルギー代理変数として LogSumExp(fθ(x)) を用い、標準的なクロスエントロピーで p(y|x) を訓練する。
• モデル分布からサンプルを取るための無偏勾配推定を用いて log p(x) を訓練する。
• 勾配の期待値を推定するために持続的対比的発散を使用する。
• Wide Residual Networks をベースとし、CIFAR10、SVHN、CIFAR100 で訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準的な分類器を p(x, y) および p(x) の結合エネルギーベースモデルとして解釈できるか。
• RQ2 EBMs ベースの訓練は較正、OOD検出、 adversarial robustness を改善しつつ識別性能を維持できるか。
• RQ3 結合EBMs は大規模画像データセットにおいて識別精度と競争力のある生成品質を提供するか。
• RQ4 SGLD ベースのサンプリングの規模は訓練の安定性と性能にどう影響するか。

主な発見

• JEM は CIFAR10/SVHN/CIFAR100 で競争的な精度を達成するとともに、最新のハイブリッドモデルに匹敵する生成能力を提供する。
• JEM は CIFAR100 の較正を改善し、期待される較正誤差（ECE）でほぼ完全な較正を達成する。
• JEM は log p(x) および勾配ベースのマススコアを含む複数のスコアリング方法を用いたアウト・オブ・ディストリビューション検出を強化し、いくつかのベースラインを上回る。
• モデルは敵対的摂動に対する頑健性を示し、標準分類器よりも高い耐性を示し、特化した頑健手法に近づく。
• CIFAR10 で JEM は 92.9% の精度、IS 8.76、FID 38.4 を達成し、いくつかのハイブリッドベースラインを上回りつつ、識別専用モデルと競争力を保つ。