[論文レビュー] Deep Verifier Networks: Verification of Deep Discriminative Models with Deep Generative Models

Tong Che, Xiaofeng Liu+5 more|arXiv (Cornell University)|Nov 18, 2019

Adversarial Robustness in Machine Learning参考文献 67被引用数 34

ひとこと要約

DVNsは識別モデルの予測を検証するために、p(x|y)を分離した条件付きVAEでモデル化し、再訓練なしで堅牢な分布外検出と敵対的入力検出を可能にする。

ABSTRACT

AI Safety is a major concern in many deep learning applications such as autonomous driving. Given a trained deep learning model, an important natural problem is how to reliably verify the model's prediction. In this paper, we propose a novel framework -- deep verifier networks (DVN) to verify the inputs and outputs of deep discriminative models with deep generative models. Our proposed model is based on conditional variational auto-encoders with disentanglement constraints. We give both intuitive and theoretical justifications of the model. Our verifier network is trained independently with the prediction model, which eliminates the need of retraining the verifier network for a new model. We test the verifier network on out-of-distribution detection and adversarial example detection problems, as well as anomaly detection problems in structured prediction tasks such as image caption generation. We achieve state-of-the-art results in all of these problems.

研究の動機と目的

• 安全性が要求される設定での深層モデル予測の信頼性ある検証を動機づける。
• 深層生成モデルを用いてp(x|y)を推定し、入力とラベルの一貫性を検証するフレームワークを提案する。
• 潜在空間でラベル情報を保持するよう、分離された条件付きVAEを導入する。
• 再訓練なしでOOD、敵対的、誤分類入力の統一的検出を可能にする。

提案手法

• 修正された条件付き変分オートエンコーダを用いて、p(x|y)の近似として検証器 q(x|y)を訓練する。
• 潜在変数 z とラベル y の相互情報を最小化する分離制約を課し、yが無視されるのを防ぐ。
• L_kというkサンプル重要度加重境界を用いて log p(x|y)を推定し、検証をスコアリングする。
• 潜在分布 q(z)をガウス prior p(z)と合わせるためにGANベースの識別器 D_z を用い、尤度推定の事前分布を補正する。
• 検証閾値 delta と比較して L_k を閾値処理し、入力を ID または OOD とラベル付けする。）

実験結果

リサーチクエスチョン

• RQ1 ディープ検証ネットワークは、分類器を再訓練せずに、分布内入力と分布外入力を正確に識別できるか。
• RQ2 分離された条件付きVAEで p(x|y) をモデリングすることは、タスクを横断する敵対的入力や異常値に対する堅牢性を提供するか。
• RQ3 DVNフレームワークは、標準的な分類を超えて画像キャプション生成のような構造化予測に適用可能か。
• RQ4 yとzを分離することが検証性能に与える影響は何か。
• RQ5 密度推定器の選択（VAE vs. PixelCNN/Glow）がOOD/敵対的検出性能にどう影響するか？

主な発見

• DVNは複数のデータセットとバックボーンにおいて、OOD検出と敵対的検出の最先端性能を達成した。
• yとzを分離することは決定的で、検証指標を大幅に向上させる。
• VAEをPixelCNNまたはGlowに置換すると一般にDVNを下回り、提案手法の頑健性を強調する。
• 検証閾値はOODサンプルを必要とせず、分布内の検証データを用いて設定でき、実用性を高める。
• DVNは画像キャプション生成などの構造化予測タスクにも、分類器の再訓練なしに一般化する。