[論文レビュー] Generative OpenMax for Multi-Class Open Set Classification

Zongyuan Ge, Sergey Demyanov+2 more|arXiv (Cornell University)|Jul 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 54

ひとこと要約

論文は Generative OpenMax (G-OpenMax) を提案し、GAN 生成サンプルを用いて多クラスオープンセット分類における未知クラスを明示的にモデル化・検出し、MNIST と HASYv2 で OpenMax を改善しつつ未知サンプルの可視化を可能にする。

ABSTRACT

We present a conceptually new and flexible method for multi-class open set classification. Unlike previous methods where unknown classes are inferred with respect to the feature or decision distance to the known classes, our approach is able to provide explicit modelling and decision score for unknown classes. The proposed method, called Gener- ative OpenMax (G-OpenMax), extends OpenMax by employing generative adversarial networks (GANs) for novel category image synthesis. We validate the proposed method on two datasets of handwritten digits and characters, resulting in superior results over previous deep learning based method OpenMax Moreover, G-OpenMax provides a way to visualize samples representing the unknown classes from open space. Our simple and effective approach could serve as a new direction to tackle the challenging multi-class open set classification problem.

研究の動機と目的

• 閉セット仮定を超えたオープンセット認識を、未知クラスを明示的にモデル化することで動機づける。
• 未知カテゴリの明示的な確率推定を提供するよう OpenMax を拡張する。
• GAN 生成サンプルを用いて未知の可能性が高い例を表現し、スコアをそれに応じてキャリブレーションする。
• MNIST と HASYv2 でオープンセット認識の向上を評価し、異なる openness に渡る効果を評価する。

提案手法

• GAN 生成サンプルを用いて未知クラスを追加した分類器を訓練することで OpenMax を拡張する。
• 条件付き GAN を用いて既知クラスの潜在サブスペースの混合から妥当な未知クラス画像を合成する。
• 事前学習済み分類器に誤分類される生成サンプルを選択して training Net^G の未知としてラベル付けする。
• 未知クラスの追加次元を含む活性化ベクトルを生成させる Net^G を訓練し、未知確率の明示的な推定を可能にする。
• 活性化スコアに Weibull モデルを適合させ、OpenMax 風の重み付けでキャリブレーションし、既知クラスの Prob(y|x) と未知の Prob(unknown|x) を得る。
• 推論時に活性化を再キャリブレーションし、既知対未知を判断する閾値を設定する。

実験結果

リサーチクエスチョン

• RQ1 合成サンプルによる未知クラスの明示的モデル化は、多クラスのオープンセット認識を改善できるか。
• RQ2 GAN ベースの未知サンプル合成は、オープンセット分類におけるキャリブレーションと決定マージンにどう影響するか。
• RQ3 既知クラスの潜在表現を混ぜて妥当な未知サンプルを生成することは、オープンスペースリスクにどのような影響を与えるか。
• RQ4 G-OpenMax は EVT ベースのキャリブレーションにおける openness や tail-size の選択に頑健か。
• RQ5 G-OpenMax は意思決定を伴う代表的な未知クラスサンプルを効果的に可視化できるか。

主な発見

• G-OpenMax は openness レベルを超えて MNIST と HASYv2 で OpenMax より一貫してオープンセット認識を改善した。
• GAN 合成未知サンプルを使用することで、疑似確率推定ではなく明示的な未知クラススコアを可能にした。
• 最適閾値での評価設定で OpenMax より約10ポイント高い精度を達成。
• アブレーション研究は、 tail-size の変化を跨いで未知クラスの精度とキャリブレーションを改善することを示した。
• 定性的分析は、訓練サブスペース内に妥当な未知を連想させる混合生成サンプルを可視化する。
• G-OpenMax は既知クラス検出の大きな Weibull テイルサイズに頑健で、全体的なパフォーマンスを維持する。