[論文レビュー] Open Set Recognition with Conditional Probabilistic Generative Models

Xin Sun, Chi Zhang+2 more|arXiv (Cornell University)|Aug 12, 2020

Bayesian Modeling and Causal Inference参考文献 50被引用数 10

ひとこと要約

本稿では、開集合認識のための条件付き確率的生成モデル（CPGM）を提案する。VAEとAAEにクラス固有の条件付きガウス分布を統合することで、既知クラス分類と未知サンプル検出の両方を可能にする。本手法は、クラスタリングの緊密さと意思決定境界の明確さにおいて、標準的なVAEやAAEを上回る判別的でクラス条件付きの潜在表現を学習することで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Deep neural networks have made breakthroughs in a wide range of visual understanding tasks. A typical challenge that hinders their real-world applications is that unknown samples may be fed into the system during the testing phase, but traditional deep neural networks will wrongly recognize these unknown samples as one of the known classes. Open set recognition (OSR) is a potential solution to overcome this problem, where the open set classifier should have the flexibility to reject unknown samples and meanwhile maintain high classification accuracy in known classes. Probabilistic generative models, such as Variational Autoencoders (VAE) and Adversarial Autoencoders (AAE), are popular methods to detect unknowns, but they cannot provide discriminative representations for known classification. In this paper, we propose a novel framework, called Conditional Probabilistic Generative Models (CPGM), for open set recognition. The core insight of our work is to add discriminative information into the probabilistic generative models, such that the proposed models can not only detect unknown samples but also classify known classes by forcing different latent features to approximate conditional Gaussian distributions. We discuss many model variants and provide comprehensive experiments to study their characteristics. Experiment results on multiple benchmark datasets reveal that the proposed method significantly outperforms the baselines and achieves new state-of-the-art performance.

研究の動機と目的

• 標準的な深層生成モデル（VAE や AAE）が、すべてのクラスに共通する潜在分布を持つため、判別的分類が行えないという限界を解消すること。
• 生成モデルを用いた統合フレームワークを構築し、未知のサンプル検出（開集合認識）と既知クラス分類の両方を可能にすること。
• 潜在空間をクラスラベルで条件づけることで、再構成と判別の両方のための表現学習がどのように向上するかを調査すること。
• CPGM-VAE と CPGM-AAE の変種の間で、クラスタリングの質、意思決定境界の明確さ、全体的なOSR性能という観点から、有効性を比較すること。

提案手法

• 潜在空間に、$ k $ が既知クラスを表す条件付き事後分布 $ q_{\bm{\phi}}(\bm{z}|\bm{x},k) $ を導入し、クラス固有の特徴をモデル化する。
• 各クラスの潜在表現が、$ \bm{\mu}_k $ を完全結合層で予測した $ \mathcal{N}(\bm{z}; \bm{\mu}_k, \mathbf{I}) $ のような別個の多変量ガウス分布に近づくように制約を課す。
• CPGM-VAE において、情報の損失を防ぎ、特徴表現の質を向上させるために、確率的ラダー構造を適応する。
• CPGM-AAE では敵対的訓練を用い、事後分布をクラス条件付き事前分布に一致させることで、生成的・判別的性能を向上させる。
• テスト時に、再構成誤差と条件付きガウス距離の二重検出信号を用いて、既知と未知のサンプルを区別する。
• 再構成忠実度、クラスタリングの緊密さ、意思決定境界の鋭さのトレードオフを分析するため、3つのAAEベースの変種を検討する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルの潜在空間をクラスラベルで条件づけることで、開集合認識における既知クラス分類と未知サンプル検出の両方の性能が向上するか？
• RQ2 共有事前分布と比較して、クラス条件付きガウス事前分布を用いることで、潜在空間におけるクラスタ構造と意思決定境界にどのような影響を与えるか？
• RQ3 再構成品質、クラスタの緊密さ、検出精度という観点から、CPGM-VAE と CPGM-AAE の相対的な性能はどの程度か？
• RQ4 再構成誤差と条件付きガウス距離を組み合わせることで、単独で用いる場合よりも未知検出性能がどの程度向上するか？
• RQ5 CPGM-VAE に採用された確率的ラダーのようなアーキテクチャ的選択は、表現能力とOSR性能にどのように影響を与えるか？

主な発見

• CPGM-VAE と CPGM-AAE は、複数のベンチマークデータセットにおいて、ベースラインのVAE や AAE を大きく上回り、開集合認識分野で新たな最先端性能を達成した。
• CPGM-AAE は、CPGM-VAE よりも既知クラスのクラスタがより緊密で明確に分離されており、より優れた表現学習を示している。
• CPGM-AAE の再構成誤差ヒストグラムは、CPGM-VAE よりも既知と未知のサンプルの間の意思決定境界が明確になっており、より効果的な検出が可能である。
• 再構成誤差を検出信号として追加することで、CPGM-AAE の性能は向上したが、CPGM-VAE ではわずかな向上にとどまり、CPGM-AAE の再構成プロセスが検出の目的とより整合していることが示唆された。
• 可視化結果から、既知サンプルの再構成はより多くの構造的詳細を保持している一方、未知サンプルは曖昧または誤った再構成（例：船が猫に再構成される）を示しており、それらの除外が妥当であることを裏付けた。