[論文レビュー] Class Anchor Clustering: a Distance-based Loss for Training Open Set Classifiers

Dimity Miller, Niko Sünderhauf+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文では、特徴空間（ログィット空間）における固定されたクラス固有のアンカーセンターラウンドに、クラス固有のクラスタをタイトに形成するように深層ニューラルネットワークを訓練する距離ベースの損失関数であるClass Anchor Clustering (CAC) を提案する。トレーニング中にこのクラスタリングを明示的に最適化することにより、CACはオープンセット認識性能を向上させ、精度を落とさずにTinyImageNetで2.4%のAUROC向上を達成し、学習されたセンターを使用する先行手法を上回る。

ABSTRACT

In open set recognition, deep neural networks encounter object classes that were unknown during training. Existing open set classifiers distinguish between known and unknown classes by measuring distance in a network's logit space, assuming that known classes cluster closer to the training data than unknown classes. However, this approach is applied post-hoc to networks trained with cross-entropy loss, which does not guarantee this clustering behaviour. To overcome this limitation, we introduce the Class Anchor Clustering (CAC) loss. CAC is a distance-based loss that explicitly trains known classes to form tight clusters around anchored class-dependent cluster centres in the logit space. We show that training with CAC achieves state-of-the-art open set performance for distance-based open set classifiers on the standard benchmark datasets, with a 2.4% performance increase in AUROC on the challenging TinyImageNet, without sacrificing classification accuracy. We also show that our anchored class centres achieve higher open set performance than learnt class centres, particularly on object-based datasets and large numbers of training classes.

研究の動機と目的

• 既存のオープンセット分類器が、トレーニング段階でクラスタリング最適化を実施しないまま、ログィット空間における後処理による距離測定に依存しているという制限を是正すること。
• ネットワークトレーニング中に既知クラスがクラス固有のアンカーセンターラウンドにタイトなクラスタを形成するよう明示的に学習させることで、オープンセット認識性能を向上させること。
• 特にオブジェクトベースのデータセットおよび多数の既知クラスを含む状況において、固定アンカーセンターよりも学習されたクラスセンターが優れているかどうかを調査すること。
• ゼロショット分類精度を維持しつつ、オープンセットシナリオにおける未知クラスの検出能力を著しく向上させること。

提案手法

• 各サンプルのログィット表現と固定されたクラス依存のアンカーセンタの間の距離を最小化する、新しい距離ベースの損失関数であるClass Anchor Clustering (CAC) を導入する。
• トレーニング中に動的クラスタセンターを学習するのではなく、既知のトレーニングデータから事前に定義されたクラス固有のアンカーセンタを使用する。
• 分類精度とクラス内コンパクト性の両方を同時に最適化するため、標準的なクロスエントロピー損失と組み合わせてCAC損失を適用する。
• 既知クラスのサンプルがログィット空間においてそれぞれのアンカーセンタに引き寄せられるように制御し、クラス内クラスタのタイトさを高めるとともに、未知クラスの分布からの分離を促進する。
• 既知クラスのクラスタが未知クラスサンプルの分布から明確に分離されるように、マージンベースの制約を導入する。
• 分類用のクロスエントロピーとクラスタコンパクト性用のCACを組み合わせた損失関数を用いてネットワークを訓練する。アンカーセンタは、各クラスのトレーニングサンプルの平均活性から初期化される。

実験結果

リサーチクエスチョン

• RQ1 ログィット空間において、既知クラスを固定アンカーセンターラウンドに明示的にクラスタリングさせるアプローチが、後処理による距離測定手法と比較して、オープンセット認識性能を向上させることができるか？
• RQ2 特に大規模およびオブジェクトベースのデータセットにおいて、固定クラスアンカーセンタが動的クラスタセンターを学習する手法を上回る性能を示すか？
• RQ3 CAC損失は、標準ベンチマークで標準分類精度を低下させることなく、AUROCにどの程度向上効果をもたらすか？
• RQ4 既知クラスの数が増加する際や、TinyImageNetのような困難なデータセットにおいて、CACの性能はどのように変化するか？

主な発見

• CAC損失を用いたトレーニングにより、先行する最良の距離ベースオープンセット分類器と比較して、TinyImageNetベンチマークでAUROCが2.4%の絶対的向上を達成した。
• 固定クラスアンカーセンタの使用は、オブジェクトベースのデータセットおよび多数のトレーニングクラスを含む状況において、学習されたクラスタセンターを上回るオープンセット性能をもたらした。
• CACは、未知クラスの検出能力を著しく向上させる一方で、標準分類精度を高い水準で維持した。
• CACによる向上効果は、特に挑戦的なオープンセットシナリオで顕著であり、さまざまなデータセットスケールおよびクラス構成にわたり、堅牢な性能を示した。