[論文レビュー] OCFormer: One-Class Transformer Network for Image Classification

Prerana Mukherjee, Chandan Kumar Roy+1 more|arXiv (Cornell University)|Apr 25, 2022

Retinal Imaging and Analysis被引用数 5

ひとこと要約

OCFormerは、潜在空間にゼロ中心のガウスノイズを擬似負例クラスとして挿入することで表現学習を向上させる、ビジョントランスフォーマーベースの1クラス分類フレームワークを提案する。本手法はCIFAR-10、CIFAR-100、Fashion-MNIST、CelebAアイウェアラスデータセットにおいて最先端の性能を達成し、従来のCNNベースの1クラス分類器よりも平均AUCで最大6.7%優れている。

ABSTRACT

We propose a novel deep learning framework based on Vision Transformers (ViT) for one-class classification. The core idea is to use zero-centered Gaussian noise as a pseudo-negative class for latent space representation and then train the network using the optimal loss function. In prior works, there have been tremendous efforts to learn a good representation using varieties of loss functions, which ensures both discriminative and compact properties. The proposed one-class Vision Transformer (OCFormer) is exhaustively experimented on CIFAR-10, CIFAR-100, Fashion-MNIST and CelebA eyeglasses datasets. Our method has shown significant improvements over competing CNN based one-class classifier approaches.

研究の動機と目的

• 負例が存在しない極度に不均衡または歪んだデータセットにおける1クラス分類の課題に対処すること。
• 高次元データ表現における従来の生成的・判別的手法の限界を克服すること。
• ビジョントランスフォーマー（ViT）の表現力を利用し、1クラス分類性能の向上を図ること。
• 深層1クラス分類器に一般的に見られるハイパースフィア崩壊問題を、新しいノイズ補強潜在空間戦略により緩和すること。
• ビジョントランスフォーマーベースのモデルが1クラス分類において有効であることを実証すること。これは、先行研究ではほとんど検討されていなかった分野である。

提案手法

• 入力画像を高次元潜在空間にエンコードするため、事前学習済みのビジョントランスフォーマー（ViT）を特徴抽出器として使用する。
• 潜在空間表現にゼロ中心のガウスノイズを擬似負例クラスとして挿入し、外れ値データをシミュレートする。
• 正例の凝集性を高めるとともに、擬似負例ノイズからの分離を促進する最適な損失関数を用いて分類器を訓練する。
• 下流の分類器ヘッド（MLP、SVM、KDE）に供給する前に、元の潜在特徴と挿入されたノイズベクトルを連結する。
• より大きなViTアーキテクチャによるモデル容量の増加にもかかわらず、過学習を防ぐために標準的な正則化技術を採用する。
• バッチサイズ、潜在次元、分類器の深さがモデル性能に与える影響を分析するためにアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 実際の負例に依存せずに、ビジョントランスフォーマーを1クラス画像分類に効果的に適応できるか？
• RQ2 ゼロ中心のガウスノイズを擬似負例クラスとして挿入することで、1クラス設定における表現学習がどのように向上するか？
• RQ3 ViTベースの1クラス分類における潜在次元、バッチサイズ、分類器の深さの最適な設定は何か？
• RQ4 多様なベンチマークにおいて、OCFormerは最先端の1クラス分類器と比較してAUC性能でどのように優れているか？
• RQ5 ViTベースの特徴抽出が、1クラス分類タスクにおいてCNNベースの対比手法よりも優れた一般化性能を示すか？

主な発見

• ViT-largeを用いたOCFormerは、CIFAR-10、CIFAR-100、Fashion-MNIST、CelebAアイウェアラスデータセットの平均AUCが96.58%に達し、すべてのベースラインを上回った。
• ViT-baseを用いた場合、CIFAR-10では98.72%のAUC-ROCを達成し、コントラスト学習やPANDA手法を著しく上回った。
• すべての実験において、潜在次元D=1000がD=4096よりも一貫して優れた性能を示し、高次元ノイズ挿入が性能を低下させる可能性があることを示した。
• MLP分類器の深さを増やすと初期には性能が低下したが、より深いアーキテクチャでは向上した。これは最適化の非単調なランドスケープを示唆している。
• Grad-CAMの可視化により、注目メカニズムが標的の異常（アイウェアラス）に集中していることが確認され、モデルの解釈可能性と関連性が裏付けられた。
• CIFAR-10およびCIFAR-100においてMLPおよびSVM分類器を用いた場合、OCFormerは競合手法と比較して平均AUCで6.7%の相対的改善を達成した。