[論文レビュー] CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances

Jihoon Tack, Sangwoo Mo+2 more|arXiv (Cornell University)|Jul 16, 2020

Anomaly Detection Techniques and Applications参考文献 79被引用数 230

ひとこと要約

CSIは、対照学習において対照的にシフトしたインスタンスを導入し、 novelty（OOD）検出と信頼度キャリブレーションを強化します。これにより、ワン・クラス、マルチクラス、および監督付きの設定で最先端の成果を達成します。

ABSTRACT

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

研究の動機と目的

• イン・ディストリビューションデータのみが利用可能な場合に、堅牢なOOD/新規性検知を促進する。
• イン・ディストリビューションとアウト・オブ・ディストリビューションを識別するために、識別力のある表現を学習する。
• CSIで訓練された表現を活用する検出スコアを開発する。
• 監督付き設定で信頼度をキャリブレーションした分類器を訓練するためにCSIを拡張する。

提案手法

• ベースとしてSimCLR風の対照学習を用いる。
• 分布シフトを起こす増強をネガティブとして扱い、 contrasting shifted instances (con-SI) を導入する。
• 適用されたシフト変換を分類する補助タスク (cls-SI) を追加する。
• 統合CSI目的関数で訓練する: L_CSI = L_con-SI + lambda * L_cls-SI (lambda = 1)。
• 表現ベースの特徴量（cosine similarity、norm）と shifted-instance 情報（s_con-SI、s_cls-SI）を組み合わせたOOD検出スコアを定義する。
• 任意でランダムな増強 T(x) に対してスコアをアンサンブルして s_CSI-ens を得る。

実験結果

リサーチクエスチョン

• RQ1 対照学習を用いて、out-of-distributionサンプルの検出を改善する表現をどう学習するか？
• RQ2 分布シフト増強は、OOD検出にとって有用なネガティブとして機能し得るか？
• RQ3 どのスコア関数がCSI表現を最も効果的に活用してOOD検出とキャリブレーションを実現するか？
• RQ4 CSIは監督付き設定で信頼度をキャリブレーションした分類器に拡張できるか？
• RQ5 どのシフト変換（例：回転、ガウシアンノイズ）がデータセット間でOOD検出性能を最大化するか？

主な発見

• CSIは、複数のOOD設定に渡って、one-class CIFAR-10、CIFAR-100、ImageNet-30でベースラインを上回る。
• 分布シフト transformationsをネガティブとして用いる（con-SI）は、分類のための標準表現が変わらなくてもOOD検出を大幅に改善する。
• 補助的な shifting-instance_classifier (cls-SI) と結合CSIスコア (s_CSI) は、ベースの対照的手法より強力なOODスコアをもたらす。
• シフトと増強全体でCSIスコアをアンサンブルすると、AUROCとキャリブレーション指標がさらに改善される。
• 監督付き設定では、CSI-ens が AUROC を改善し、期待キャリブレーション誤差（ECE）を低減させ、精度を維持または向上させる。