[論文レビュー] iDECODe: In-distribution Equivariance for Conformal Out-of-distribution Detection

Ramneet Kaur, Susmit Jha+5 more|arXiv (Cornell University)|Jan 7, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

iDECODe は、データ変換における分布内等変性（iD）を非適合性指標として用いる、新しいコンフォーマルな分布外（OOD）検出手法である。複数のランダムな変換にわたる予測の集約により、画像および音声のOOD検出ベンチマークで最先端のAUROCスコアを達成するとともに、誤検出率が有界であることを保証する。

ABSTRACT

Machine learning methods such as deep neural networks (DNNs), despite their success across different domains, are known to often generate incorrect predictions with high confidence on inputs outside their training distribution. The deployment of DNNs in safety-critical domains requires detection of out-of-distribution (OOD) data so that DNNs can abstain from making predictions on those. A number of methods have been recently developed for OOD detection, but there is still room for improvement. We propose the new method iDECODe, leveraging in-distribution equivariance for conformal OOD detection. It relies on a novel base non-conformity measure and a new aggregation method, used in the inductive conformal anomaly detection framework, thereby guaranteeing a bounded false detection rate. We demonstrate the efficacy of iDECODe by experiments on image and audio datasets, obtaining state-of-the-art results. We also show that iDECODe can detect adversarial examples.

研究の動機と目的

• 安全上の重要な機械学習デプロイメントにおける分布外（OOD）入力の検出という重要な課題に対処すること。
• 幾何的変換における学習済み分布内等変性を活用することで、OOD検出を改善すること。
• インダクティブコンフォーマル異常検出（ICAD）フレームワークとの統合により、有界な誤検出率（FDR）を保証すること。
• 手法の有用性を adversarial 例の検出へと拡張し、さまざまなモデルアーキテクチャにわたる頑健性を示すこと。

提案手法

• 変換における予測のずれに基づく、新しい基本非適合性指標（NCM）を提案。これは、あるサンプルがiD等変性をどの程度破っているかを定量化する。
• 群 G の変換の確率分布から独立同分布に従う n 個の変換をサンプリングし、n 個の独立した非適合性スコアを計算する集約手法を導入する。
• ICADフレームワーク内に集約されたNCMを用いて、異常行動を示すp値を計算し、誤検出率（FDR）の保証を達成する。
• データオーグメンテーション（例：音声のSpecAugment）を用いて、モデル学習中にiD等変性を学習させ、OOD入力への一般化性能を向上させる。
• VGGおよびAVTアーキテクチャを用いて、画像および音声データセットに本手法を適用し、保持済みのiDサンプルを用いたキャリブレーションを実施する。
• コンフォーマル予測理論を活用して統計的妥当性を保証し、p値を分布内帰属の信頼度として解釈する。

実験結果

リサーチクエスチョン

• RQ1 幾何的変換における分布内等変性は、分布外入力の検出に信頼できるシグナルとして利用可能か？
• RQ2 複数の変換に基づく非適合性スコアをどのように集約することで、検出の頑健性と性能を向上させられるか？
• RQ3 提案手法は、有界な誤検出率を維持しながら、最先端のOOD検出性能を達成できるか？
• RQ4 本手法は、さまざまなモデルアーキテクチャにわたって adversarial 例の検出に一般化可能か？

主な発見

• FSD音声OOD検出ベンチマークにおいて、iDECODe は 66.21 ± 0.39 の最先端のAUROCを達成し、先行するSOTA手法を上回った。
• CIFAR-10 adversarial 検出において、|V(x)|=5 で FGSM 攻撃に対して 96.6 ± 0.1、BIM 攻撃に対して 96.4 ± 0.1 のAUROCを達成し、非教師ありベースラインを上回った。
• 音声OODセット全体において、ICAD（単一変換）と比較して、2.7–3.4 AUROCポイントの改善を一貫して示した。
• 訓練時に adversarial データを用いなくても、CW や DF といった困難な攻撃に対して強い性能を維持した。
• 複数の変換（|V(x)|=20）を用いることで、単一変換ベースラインに比べて検出性能が顕著に向上した。
• 異なるアーキテクチャ（ResNet、DenseNet）および攻撃タイプにわたる頑健性を示し、特定のモデル設計に依存しない一般化性能を有していることが示された。