[論文レビュー] Class Anchor Clustering: a Loss for Distance-based Open Set Recognition

Dimity Miller, Niko Sünderhauf+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 4

ひとこと要約

本稿では、特徴空間における固定されたクラス固有の中心点を中心に、タイトで明確なクラスタを形成する距離ベースの損失関数である Class Anchor Clustering (CAC) を提案する。学習中に中心点を学習するのではなく、固定された中心点に固定することで、TinyImageNet において分類精度を損なわずにオープンセット認識性能を 15.2% 向上させた。特にオブジェクトベースのデータセットや大規模クラスのシナリオにおいて優れた性能を発揮する。

ABSTRACT

In open set recognition, deep neural networks encounter object classes that were unknown during training. Existing open set classifiers distinguish between known and unknown classes by measuring distance in a network's logit space, assuming that known classes cluster closer to the training data than unknown classes. However, this approach is applied post-hoc to networks trained with cross-entropy loss, which does not guarantee this clustering behaviour. To overcome this limitation, we introduce the Class Anchor Clustering (CAC) loss. CAC is a distance-based loss that explicitly trains known classes to form tight clusters around anchored class-dependent centres in the logit space. We show that training with CAC achieves state-of-the-art performance for distance-based open set classifiers on all six standard benchmark datasets, with a 15.2% AUROC increase on the challenging TinyImageNet, without sacrificing classification accuracy. We also show that our anchored class centres achieve higher open set performance than learnt class centres, particularly on object-based datasets and large numbers of training classes.

研究の動機と目的

• 交差エントロピー学習後に特徴空間における距離測定を後処理で行う従来のオープンセット分類器の限界、すなわち既知クラスのタイトなクラスタリングを保証しない点を是正する。
• 特徴空間におけるクラス固有の固定中心点を中心に、既知クラスを明確にクラスタリングするように、明示的に学習することにより、オープンセット認識性能を向上させる。
• 事前に固定されたクラス中心点（アンカード中心点）が、学習中に中心点を学習する方法よりも、特にクラス内変動が大きいオブジェクトベースのデータセットで優れた性能を発揮するかを検証する。
• 増加する学習クラス数の下での、アンカード中心点のスケーラビリティとロバストネスを評価する。
• 標準分類精度を低下させることなく、オープンセット性能を向上させる損失関数を開発する。

提案手法

• 特徴空間における事前に定義されたクラス固有の中心点を中心に、既知のトレーニングサンプルがタイトにクラスタリングされるよう制約を課す新しい損失項、Class Anchor Clustering (CAC) を導入する。
• バックプロパゲーション中に学習する必要がなくなるように、固定されたクラス依存の値を用いて特徴空間におけるクラス中心点をアンカーリングする。
• 分類とクラスタリングの両目的を一括で最適化できるように、CAC 損失と標準的な交差エントロピー損失を組み合わせ、学習の安定性を確保する。
• 各サンプルの特徴ベクトルとその対応するアンカードクラス中心点との L2 距離を最小化する距離ベースの目的関数を採用する。
• トレーニング中に CAC 損失を適用し、既知クラスのクラスタ間の空間的分離を促進するとともに、未知サンプルをこれらのクラスタから遠ざけるようにする。
• 標準的なオープンセットベンチマークを用いて AUROC を評価し、アンカード中心点と学習済み中心点を、データセットやクラスの複雑さの変動下で比較する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間におけるアンカードクラス中心点を用いた学習は、学習中に中心点を学習する方法に比べ、より優れたオープンセット認識性能をもたらすか？
• RQ2 CAC 損失は、交差エントロピー学習のみに比べて、特徴空間における既知クラスのクラスタリングをどのように改善するか？
• RQ3 クラス内変動が大きいオブジェクトベースのデータセット（例：CIFAR10 や TinyImageNet）において、アンカード中心点の使用が性能向上に寄与するか？
• RQ4 増加する既知クラス数の下で、アンカード中心点を用いた CAC の性能はどのようにスケーリングするか？
• RQ5 特にアンカーマグニチュードと損失重みのハイパーパrameter選択に対して、CAC 損失はロバストか？

主な発見

• CAC 損失を用いた学習は、すべての6つの標準ベンチマークデータセットにおいて、距離ベースのオープンセット認識で最先端の性能を達成した。
• 挑戦的であるとされる TinyImageNet データセットにおいて、CAC は従来手法に比べて AUROC を 15.2% 向上させたが、分類精度に低下は見られなかった。
• オブジェクトベースのデータセット（CIFAR10 の変種および TinyImageNet）において、アンカード中心点は、Center loss を用いる場合に平均で 2.2%、CAC 損失を用いる場合に 0.85% の性能向上を達成した。
• トレーニングクラス数が増加するにつれて、アンカード中心点と学習済み中心点の性能差が拡大する傾向にあり、アンカード中心点が大規模クラスのシナリオに優れていることが示された。
• アンカード中心点を用いたネットワークは、学習済み中心点を用いたものよりも約 50% 速く収束した。これは、トレーニングの安定性と効率性が向上していることを示唆している。
• CAC 損失はハイパーパramータの変動に対してロバストであり、アンカーロス重み（0.05–0.8）およびアンカーマグニチュード（5–20）の広い範囲で、分類精度と AUROC がそれぞれ 4% 未満の変動に抑えられた。