[논문 리뷰] AUTO: Adaptive Outlier Optimization for Test-Time OOD Detection

Puning Yang, Jian Liang외 2명|arXiv (Cornell University)|2023. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 테스트 시점 OOD 탐지 성능을 햖थ기 위해 비라벨링 온라인 테스트 데이터를 사용해 딥 네트워크를 적응적으로 최적화하는 AUTO라는 방법을 제안한다. In-out 인식 필터, 동적 ID 메모리 백업, 의미적으로 일관된 목적함수를 조합함으로써 AUTO는 치명적인 기억 상실을 완화하고, CIFAR-10, CIFAR-100, ImageNet 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 내부 분포 정확도를 유지한다.

ABSTRACT

Out-of-distribution (OOD) detection aims to detect test samples that do not fall into any training in-distribution (ID) classes. Prior efforts focus on regularizing models with ID data only, largely underperforming counterparts that utilize auxiliary outliers. However, data safety and privacy make it infeasible to collect task-specific outliers in advance for different scenarios. Besides, using task-irrelevant outliers leads to inferior OOD detection performance. To address the above issue, we present a new setup called test-time OOD detection, which allows the deployed model to utilize real OOD data from the unlabeled data stream during testing. We propose Adaptive Outlier Optimization (AUTO) which allows for continuous adaptation of the OOD detector. Specifically, AUTO consists of three key components: 1) an in-out-aware filter to selectively annotate test samples with pseudo-ID and pseudo-OOD and ingeniously trigger the updating process while encountering each pseudo-OOD sample; 2) a dynamic-updated memory to overcome the catastrophic forgetting led by frequent parameter updates; 3) a prediction-aligning objective to calibrate the rough OOD objective during testing. Extensive experiments show that AUTO significantly improves OOD detection performance over state-of-the-art methods. Besides, evaluations on complicated scenarios (e.g. multi-OOD, time-series OOD) also conduct the superiority of AUTO.

연구 동기 및 목표

• 정적 보조 이상치와 분포 격차, 제한된 커버리지에 의존하는 기존 OOD 탐지 방법의 한계를 해결하기 위해.
• 학습 시점 수정 없이도 비라벨링 온라인 테스트 데이터를 활용하는 실용적인 테스트 시점 OOD 탐지 프레임워크를 제안하기 위해.
• 테스트 시점 최적화 중에 내부 분포 성능을 유지하면서 OOD 탐지 성능을 향상시키기 위해 치명적인 기억 상실을 완화하기 위해.
• 추론 중 실시간으로 의사-ID 및 의사-OOD 샘플을 동적으로 식별하고 학습하는 방법을 개발하기 위해.

제안 방법

• 내부 분포 데이터로 훈련된 in-out 인식 필터는 테스트 시점 추론 중에 의사-ID와 의사-OOD 샘플을 구분한다.
• 동적 ID 메모리 백업은 각 클래스당 하나의 대표 샘플을 저장하며, 이는 모델의 미세조정과 내부 분포 정확도 유지에 사용된다.
• 의사-OOD 샘플은 실시간으로 모델 업데이트에 사용되며, 원본 모델의 예측과 일치하는 방향으로 최적화가 이뤄진다.
• 의미 일관성 목적함수는 원본 모델과 업데이트된 모델 간의 예측 차이를 최소화하여 성능 저하를 방지한다.
• OOD 탐지 손실과 의미 일관성 손실을 조합한 가중 손실을 사용하며, 최적의 트레이드오프를 위해 하이퍼파ram터가 조정된다.
• 프레임워크는 추론 중에 반복적으로 적용되어 들어오는 테스트 데이터에 지속적으로 적응하며, 최적화 빈도를 통제한다.

실험 결과

연구 질문

• RQ1 비라벨링 온라인 데이터를 사용한 테스트 시점 최적화가 내부 분포 정확도를 훼손하지 않으면서도 OOD 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 테스트 시점 데이터로 모델을 실시간으로 업데이트할 때 치명적인 기억 상실은 어떻게 완화할 수 있는가?
• RQ3 효과적이고 안정적인 테스트 시점 적응을 위해 필수적인 구성 요소는 무엇인가?
• RQ4 λ₂ 및 φ와 같은 하이퍼파ram터의 선택이 OOD 탐지와 ID 분류 간의 균형에 어떤 영향을 미치는가?
• RQ5 ID 메모리 백업의 크기와 구성이 모델 성능에 어느 정도의 영향을 미치는가?

주요 결과

• ResNet-34를 사용한 CIFAR-100에서 AUTO는 AUROC 97.36을 기록하여 이전 방법들보다 큰 격차로 승리한다.
• Places365 벤치마크에서 AUTO는 FPR95 46.27과 AUROC 89.67을 달성하여 복잡한 OOD 데이터에 대한 강력한 일반화 능력을 입증한다.
• 통계 추정을 위해 100개의 초기 ID 샘플만 사용함으로써 계산 비용을 99% 감소시켰지만, 거의 최적의 성능을 유지한다.
• 제거 실험 결과, 동적 ID 메모리 백업과 의미 일관성 목적함수 모두 내부 분포 정확도 유지에 필수적임을 확인한다.
• 각 OOD 샘플당 T=2회의 반복이 성능과 추론 속도 사이의 최적의 균형을 이룬다. 두 번을 초월하면 수익 감소 현상이 나타난다.
• 테스트 세트에 OOD 데이터가 최대 90% 포함되어 있어도 메서드는 강건하게 유지되며, 다양한 데이터 분포에 대한 뛰어난 적응 능력을 보인다.