[論文レビュー] Novelty detection using ensembles with regularized disagreement.

Alexandru Ţifrea, Eric Stavarache+1 more|arXiv (Cornell University)|Dec 10, 2020

Anomaly Detection Techniques and Applications参考文献 54被引用数 4

ひとこと要約

この論文は、トレーニング中にOODデータが利用可能でない場合でも、未知のクラスの検出を向上させるために正則化された合意の不一致を利用する、新しいアンサンブルベースのOOD検出手法を提案する。SVHN、CIFAR-10、CIFAR-100、および医療画像データセットを含む標準ベンチマークにおいて、特に未学習クラスの検出において、最先端の手法を顕著に上回る性能を発揮する。

ABSTRACT

Despite their excellent performance on in-distribution (ID) data, machine learning-based prediction systems often predict out-of-distribution (OOD) samples incorrectly while indicating high confidence. Instead, they should flag samples that are not similar to the training data, for example, when new classes emerge over time. Even though current OOD detection algorithms can successfully distinguish completely different data sets, they fail to reliably identify samples from novel classes. We develop a new ensemble-based procedure that promotes model diversity and exploits regularization to limit disagreement to only OOD samples, using a batch containing an unknown mixture of ID and OOD data. We show that our procedure significantly outperforms state-of-the-art methods, including those that have access, during training, to data that is known to be OOD. We run extensive comparisons of our approach on a variety of novel-class detection scenarios, on standard image data sets such as SVHN/CIFAR-10/CIFAR-100, as well as on new disease detection on medical image data sets.

研究の動機と目的

• トレーニング中に確認されていない未知のクラスを含む、深層学習モデルにおける分布外（OOD）サンプルの検出における限界を是正すること。
• モデルのトレーニング中に既知のOODデータが利用可能でない状況でのOOD検出性能の向上。
• 正則化を用いて、OODサンプルに対してのみ不一致を許容する一方で、IDデータでは不一致を制限することで、モデルの多様性を促進する手法の開発。
• 標準画像データセットおよび現実世界の医療画像分類タスクを含む多様なシナリオにおける手法の評価。

提案手法

• アンサンブルによる深層ニューラルネットワークを用いて、モデルの多様性を高め、OOD入力に対してより頑健にする。
• IDデータでは不一致を抑制し、OODサンプルでのみ不一致を許容する正則化された不一致損失を導入する。
• トレーニングプロセスでは、IDおよびOODサンプルが混合したバッチを使用し、不一致のパターンを通じてOOD入力を区別できるように学習させる。
• 正則化部により、IDデータ上での不一致が抑制され、既知の分布に対してモデルの信頼性が向上する。
• 多くの既存手法とは異なり、トレーニング中に既知のOODデータへのアクセスを必要としない。
• 最終的な予測はアンサンブル出力に基づき、高次の不一致をOOD検出のシグナルとして用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に既知のOODデータにアクセスできない状況でも、アンサンブルベースの手法が未知のクラスを検出可能か？
• RQ2 標準的なアンサンブル手法と比較して、正則化された不一致はOOD検出性能をどのように向上させるか？
• RQ3 本手法は、医療画像や標準的なビジョンベンチマークを含む多様なデータ分布に一般化可能か？
• RQ4 OODサンプルが完全に異なるデータセットではなく、新しいクラスから来ている状況でも、本手法は有効か？
• RQ5 CIFAR-10、CIFAR-100、SVHNなどの標準画像データセットにおいて、本手法は最先端の性能を達成できるか？

主な発見

• 本手法は、トレーニング中に既知のOODデータにアクセス可能な手法ですら顕著に上回る性能を発揮する。
• CIFAR-10、CIFAR-100、SVHNにおいても強力な性能を発揮し、標準的なビジョンベンチマークにおける頑健性を示す。
• 医療画像データセットにおいても、未知のクラスの検出に効果的に機能し、標準的な画像認識タスクを超えた応用可能性を示す。
• IDデータに対しては高い信頼性を維持しながら、OOD入力に対しては高次の不一致を生成するため、信頼性の高い検出が可能である。
• 不一致の正則化により、IDデータにおける誤検出（偽陽性）が抑制され、検出性能が向上する。
• OODデータがトレーニング時に明示的に提供されていなくても、実用的な現場への展開に適している。