[論文レビュー] Hybrid Models with Deep and Invertible Features

Eric Nalisnick, Akihiro Matsukawa+3 more|arXiv (Cornell University)|Feb 7, 2019

Generative Adversarial Networks and Image Synthesis被引用数 34

ひとこと要約

この論文は、深層可逆特徴変換と一般化線形モデルを組み合わせたニューラルハイブリッドモデル（DIGLM）を提案し、1回のフォワードパスで正確な結合密度 p(x, y) と正確な予測分布 p(y|x) を実現するほか、有用なOOD検出と半教師あり学習を可能にする。

ABSTRACT

We propose a neural hybrid model consisting of a linear model defined on a set of features computed by a deep, invertible transformation (i.e. a normalizing flow). An attractive property of our model is that both p(features), the density of the features, and p(targets | features), the predictive distribution, can be computed exactly in a single feed-forward pass. We show that our hybrid model, despite the invertibility constraints, achieves similar accuracy to purely predictive models. Moreover the generative component remains a good model of the input features despite the hybrid optimization objective. This offers additional capabilities such as detection of out-of-distribution inputs and enabling semi-supervised learning. The availability of the exact joint density p(targets, features) also allows us to compute many quantities readily, making our hybrid model a useful building block for downstream applications of probabilistic deep learning.

研究の動機と目的

• ターゲットと入力の結合モデリングを用いた頑健性の向上とOOD検出を実現する動機づけ。
• Invertible transformationsを介して単一フォワードパスで p(x) と p(y|x) を共同学習するニューラルハイブリッドを開発する。
• p(y|x) と p(x) の正確な推論を示し、半教師あり学習と選択的分類の利点を示す。
• 分類と回帰のベンチマークで予測精度、不確実性、OOD検出を評価する。

提案手法

• p(y, x) = p(y|x; β, φ) p(x; φ) を、x が可逆な f によって変換され、z = f(x) となるよう定義する。
• 潜在表現 z に対して GLM を用いて p(y|x; β, φ) を p(y|x; β, φ) として導入し、 priors により多くのケースで正確または閉形式の予測推論を可能にする。
• 可逆生成モデルと予測的 GLM の間で φ を共有して生成と識別の目的を結合する。
• 正確なジョイント対数尤度 J(θ) = Σ log p(y, x; θ) を最大化することで訓練し、変数の変換公式を介して p(x) を正確に、いくつかの設定で p(y|x) を正確に得られるようにする。
• 重み付き目的関数 Jλ(θ) = Σ [ log p(y|x; β, φ) + λ log p(x; φ) ] を導入し、識別成分と生成成分のバランスをとる。
• ラベルなし x データを p(x; φ) によって統計的推定に組み込み、低い p(x; φ) を閾値 τ で拒否することで半教師あり学習と選択的分類を議論する。
• β に事前分布を置き、ベイズ的解釈 (B-DIGLM) を提供して、カーネル k(xi, xj) = λ^{-1} f(xi; φ)^T f(xj; φ) を介してガウス過程と結びつく周辺尤度を導出する。

実験結果

リサーチクエスチョン

• RQ1 ディープ可逆変換と GLM の組み合わせは、単一のフォワードパスで p(x) と p(y|x) の正確な推論を提供できるか？
• RQ2 可逆特徴抽出器 φ を p(x) と p(y|x) の間で共有することで、予測性能を維持しつつ信頼できる OOD 検出を実現できるか？
• RQ3 unlabeled x データが利用可能な半教師あり設定で、DIGLM はどう機能するか？
• RQ4 生成密度 p(x; φ) を用いて入力をOODとして拒否することが効果的か？
• RQ5 ベイズ的な DIGLM (B-DIGLM) の利点は何か、そしてそれはガウス過程との関係にどう繋がるか？

主な発見

モデル	MNIST BPD (bits/dim)	MNIST error (%)	MNIST NLL	NotMNIST BPD (bits/dim)	NotMNIST NLL	NotMNIST Entropy
Discriminative (λ=0)	81.80*	0.67	0.082	87.74*	29.27	0.130
Hybrid (λ=0.01/D)	1.83	0.73	0.035	5.84	2.36	2.300
Hybrid (λ=1.0/D)	1.26	2.22	0.081	6.13	2.30	2.300
Hybrid (λ=10.0/D)	1.25	4.01	0.145	6.17	2.30	2.300

• DIGLM は、識別モデルと競合する予測精度を保ちつつ、1 回のパスで explicit な p(x) および p(y|x) を提供する。
• モデルは p(x; φ) によるOOD検出を行い、不確実性推定を改善する。MNIST と SVHN の実験で示されている。
• MNIST では λ が非ゼロのハイブリッドモデルが、イン distribution およびアウト・オブ・ディストリビューションデータでより良い NLL とエントロピーを示し、OOD検出の改善を示唆する。
• フライト遅延回帰では、DIGLM が最先端より著しく良い NLL を達成し、非定常性の効果的なモデリングを示す。
• 半教師ありの実験では、ラベルなしデータが意思決定境界と分類精度を改善する。
• ベイズ的解釈は周辺尤度を GP ラインのカーネルへと結びつけ、カーネル法との関連と一部設定での厳密なポスターリオリの計算を可能にする。