[논문 리뷰] iDECODe: In-distribution Equivariance for Conformal Out-of-distribution Detection

Ramneet Kaur, Susmit Jha외 5명|arXiv (Cornell University)|2022. 01. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

iDECODe는 데이터 변환 하에서 내재된 분포(equivariance)를 비일관성 측정값(non-conformity measure)으로 활용하는 새로운 동형 외부 분포(OOD) 탐지 방법이다. 여러 무작위 변환에 걸쳐 예측을 집계함으로써 이미지 및 오디오 OOD 탐지 벤치마크에서 최신 기술 수준의 AUROC 점수를 달성하면서도 오류 탐지 비율이 유한하게 제한됨을 보장한다.

ABSTRACT

Machine learning methods such as deep neural networks (DNNs), despite their success across different domains, are known to often generate incorrect predictions with high confidence on inputs outside their training distribution. The deployment of DNNs in safety-critical domains requires detection of out-of-distribution (OOD) data so that DNNs can abstain from making predictions on those. A number of methods have been recently developed for OOD detection, but there is still room for improvement. We propose the new method iDECODe, leveraging in-distribution equivariance for conformal OOD detection. It relies on a novel base non-conformity measure and a new aggregation method, used in the inductive conformal anomaly detection framework, thereby guaranteeing a bounded false detection rate. We demonstrate the efficacy of iDECODe by experiments on image and audio datasets, obtaining state-of-the-art results. We also show that iDECODe can detect adversarial examples.

연구 동기 및 목표

• 안전 기반 기계 학습 배포 환경에서 외부 분포(OOD) 입력을 탐지하는 데 있어 핵심적인 과제를 해결하기 위해.
• 기하학적 변환 하에서 학습된 내재된 분포의 동형성을 활용하여 OOD 탐지 성능을 향상시키기 위해.
• 내재적 비례적 예측 이상 탐지(ICAD) 프레임워크와 통합하여 유한한 오류 탐지 비율(FDR)을 보장하기 위해.
• 모델 아키텍처에 관계없이 적대적 예외 탐지로의 방법의 활용성을 확장하여 다양한 아키텍처에서의 강건성을 입증하기 위해.

제안 방법

• 변환 하에서 예측 편차를 기반으로 한 새로운 기본 비일관성 측정값(NCM)을 제안하며, 이는 샘플이 내재된 분포의 동형성에서 얼마나 위반되는지를 정량화한다.
• 그룹 G의 변환에 대한 분포에서 독립적으로 추출된 n개의 i.i.d. 변환에 대해 n개의 독립적인 비일관성 점수를 계산하는 집계 방법을 도입한다.
• ICAD 프레임워크 내에서 집계된 NCM를 사용하여 이상 행동을 나타내는 p-값을 계산하며, 이는 오류 탐지 비율이 보장되는 조건을 충족한다.
• 모델 훈련 중에 내재된 분포의 동형성을 향상시키기 위해 데이터 증강(예: 오디오의 경우 SpecAugment)을 활용한다.
• VGG 및 AVT 아키텍처를 사용하여 이미지 및 오디오 데이터셋에 대해 적용하며, 보류된 내재된 분포 샘플을 사용해 校정(calibration)을 수행한다.
• 비례적 예측 이론을 활용하여 통계적 타당성을 확보하며, p-값은 분포 소속에 대한 신뢰도로 해석된다.

실험 결과

연구 질문

• RQ1 기하학적 변환 하에서 내재된 분포의 동형성은 외부 분포 입력을 탐지하는 데 신뢰할 수 있는 신호로 활용될 수 있는가?
• RQ2 다중 변환 기반 비일관성 점수는 어떻게 집계하여 탐지의 강건성과 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 유한한 오류 탐지 비율을 유지하면서 최신 기술 수준의 OOD 탐지 성능을 달성할 수 있는가?
• RQ4 이 방법은 다양한 모델 아키텍처에 걸쳐 적대적 예외 탐지로 일반화되는가?

주요 결과

• FSD 오디오 OOD 탐지 벤치마크에서 iDECODe는 66.21 ± 0.39의 최신 기술 수준 AUROC를 달성하며, 이는 이전 최신 기술 수준 방법들을 능가한다.
• CIFAR-10 적대적 탐지에서 |V(x)|=5일 때 iDECODe는 FGSM 공격에 대해 96.6 ± 0.1 AUROC, BIM 공격에 대해 96.4 ± 0.1 AUROC를 기록하며, 비지도 기반 기준을 능가한다.
• 오디오 OOD 세트 전반에서 iDECODe는 단일 변환 기반 ICAD보다 2.7–3.4 AUROC 포인트 향상된 성능을 보였다.
• 훈련 중에 적대적 데이터를 사용하지 않더라도, CW 및 DF와 같은 도전적인 공격에 대해 강력한 성능 유지를 보였다.
• 다중 변환(예: |V(x)|=20)을 사용할 경우 단일 변환 기반 기준 대비 탐지 성능이 크게 향상됨을 확인하였다.
• 다양한 아키텍처(ResNet, DenseNet)와 공격 유형에 걸쳐 강건성을 보이며, 특정 모델 설계를 넘어선 일반화 능력을 입증하였다.