[論文レビュー] Robust Classification with Convolutional Prototype Learning

Hongming Yang, Xu-Yao Zhang+2 more|arXiv (Cornell University)|May 9, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 27

ひとこと要約

本稿では、特徴空間におけるユークリッド距離を用いたプロトタイプベース分類に従来のソフトマックス層を置き換えることで、新たな深層学習フレームワーク「畳み込みプロトタイプ学習（CPL）」を提案する。プロトタイプ損失（PL）を用いて畳み込み特徴量とプロトタイプを同時に学習することで、クラス内コンパクト性が向上し、 adversarial な例、分布外サンプル、小規模な訓練データに対してより高いロバスト性を示す。標準の CNN よりも同等または優れた精度を達成するとともに、有効なクラスインクリメンタル学習と除外が可能である。

ABSTRACT

Convolutional neural networks (CNNs) have been widely used for image classification. Despite its high accuracies, CNN has been shown to be easily fooled by some adversarial examples, indicating that CNN is not robust enough for pattern classification. In this paper, we argue that the lack of robustness for CNN is caused by the softmax layer, which is a totally discriminative model and based on the assumption of closed world (i.e., with a fixed number of categories). To improve the robustness, we propose a novel learning framework called convolutional prototype learning (CPL). The advantage of using prototypes is that it can well handle the open world recognition problem and therefore improve the robustness. Under the framework of CPL, we design multiple classification criteria to train the network. Moreover, a prototype loss (PL) is proposed as a regularization to improve the intra-class compactness of the feature representation, which can be viewed as a generative model based on the Gaussian assumption of different classes. Experiments on several datasets demonstrate that CPL can achieve comparable or even better results than traditional CNN, and from the robustness perspective, CPL shows great advantages for both the rejection and incremental category learning tasks.

研究の動機と目的

• 標準の CNN におけるロバスト性の欠如、特に分布外サンプルの不良拒否と adversarial な例への脆弱性を解消すること。
• 固定カテゴリを想定するソフトマックスベースのモデルの制限を克服すること。
• 再訓練を必要とせず、新しいクラスの学習を可能にする統合フレームワークの開発。
• 学習可能なプロトタイプベースの正則化を用いて、クラス内コンパクト性とクラス間分離性を向上させることで、特徴表現の改善。
• プロトタイプを平均とするガウス混合モデルとしてクラス分布をモデル化することで、オープンワールド認識を有効にすること。

提案手法

• CPL は CNN バックボーンを用いて特徴量を抽出し、最終のソフトマックス層を特徴空間における最近接プロトタイプマッチングによるプロトタイプベース分類関数に置き換える。
• プロトタイプ損失（PL）を正則化項として導入し、特徴表現と対応するクラスプロトタイプ間のユークリッド距離を最小化することで、クラス内コンパクト性を促進する。
• バックプロパゲーションを用いて、CNN 特徴抽出器とプロトタイプをエンドツーエンドで同時に最適化し、事前定義されたルールなしにデータ駆動型のプロトタイプ学習を可能にする。
• プロトタイプベースのモデルは、各クラスがプロトタイプを平均とするガウス分布としてモデル化されるハイブリッド判別的・生成的モデルとして解釈可能であり、確率的推論を可能にする。
• 一般化された CPL（GCPL）フレームワークは、未学習クラスの新しいプロトタイプを直接追加することで、ネットワーク全体の再トレーニングなしにインクリメンタル学習をサポートする。
• ネットワークの効果的訓練のため、DCE 損失やプロトタイプ損失を含む複数の分類基準と損失関数が設計されている。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスベースの CNN よりも、プロトタイプベース分類フレームワークは adversarial な例や分布外サンプルに対するロバスト性を向上させることができるか？
• RQ2 学習可能なプロトタイプ損失を用いたプロトタイプベース学習は、特徴表現におけるクラス内コンパクト性とクラス間分離性にどのように影響を与えるか？
• RQ3 GCPL は、ネットワーク全体を再トレーニングせずに、新しいクラスのインクリメンタル学習をどの程度効果的にサポートできるか？
• RQ4 標準の CNN が過学習や失敗を示す小サンプルサイズ（SSS）条件下で、GCPL はどのように性能を発揮するか？
• RQ5 複数のプロトタイプを1クラスに割り当てることで、複雑でマルチモーダルなデータ分布における性能が向上するか？

主な発見

• CIFAR-10 において10個の既知クラスを用いたテストで 99.27% のテスト精度を達成し、新しいクラスをインクリメンタルに追加した11クラステストセットでも 99.20–99.24% の精度を示し、クラスインクリメンタル学習における優れた性能を示している。
• 小規模な訓練データセット（例：MNIST の5%）でも、GCPL は 96.44% の精度（標準誤差 ±0.40）を維持するが、ソフトマックスベースの CNN は 73.95% に低下し、標準誤差が ±6.10 と高いばらつきを示す。これは、小規模サンプルサイズに対する優れたロバスト性を示している。
• プロトタイプ損失（PL）はクラス内コンパクト性を顕著に向上させ、分布シフトに対して感受性が低い、より判別力がありロバストな特徴表現を実現している。
• 1クラスあたり複数のプロトタイプ（K=2～5）を用いても、GCPL の性能は安定しており（CIFAR-10 で 90.37–90.70%）、CNN 特徴変換後は1つのプロトタイプで十分であることが示されている。
• GCPL は効果的な外れ値除外が可能である：未学習のクラスからのサンプルは、既知のクラスに高い信頼度で割り当てられないが、ソフトマックスベースのモデルは未知の入力に高い信頼度を割り当てる。
• ガウス混合モデルによる生成的解釈により、ベイズ手法との統合が可能となり、オープンワールド状況下での一般化性とロバスト性が向上する。