[논문 리뷰] Igeood: An Information Geometry Approach to Out-of-Distribution Detection

Eduardo Dadalto Camara Gomes, Florence Alberge외 2명|arXiv (Cornell University)|2022. 03. 15.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

Igeood는 사전 훈련된 딥 네URAL 네트워크의 특징 공간에서 분포 간의 비유사도를 측정하기 위해 피셔-레오 거리 기반의 정보 기하학적 방법을 제안한다. 이는 훈련 중에 OOD 데이터가 필요 없이 다양한 아키텍처와 데이터셋에서 최신 기술 수준의 성능을 달성하며, 블랙박스, GRAY박스, 화이트박스 설정 모두에서 효과적이다.

ABSTRACT

Reliable out-of-distribution (OOD) detection is fundamental to implementing safer modern machine learning (ML) systems. In this paper, we introduce Igeood, an effective method for detecting OOD samples. Igeood applies to any pre-trained neural network, works under various degrees of access to the ML model, does not require OOD samples or assumptions on the OOD data but can also benefit (if available) from OOD samples. By building on the geodesic (Fisher-Rao) distance between the underlying data distributions, our discriminator can combine confidence scores from the logits outputs and the learned features of a deep neural network. Empirically, we show that Igeood outperforms competing state-of-the-art methods on a variety of network architectures and datasets.

연구 동기 및 목표

• 데이터 분포가 예측 불가능하게 변화하는 실세계 기계 학습 시스템에서 신뢰할 수 있는 이상치 분포(OOD) 검출의 필수적 필요성을 해결한다.
• 기존 방법들이 신뢰도 점수나 잠재 표현에만 의존하는 한계를 극복하며, 분포 변화나 모델 변형 상황에서도 실패하지 않는다.
• 모델 접근 수준(블랙박스, 그레이박스, 화이트박스)에 관계없이 작동하는 통합적이고 모델에 종속되지 않는 OOD 검출 프레임워크를 개발한다.
• 정보 기하학—특히 딥 네URAL 네트워크의 소프트맥스 출력과 특징 표현을 모델링하는 다변량 정규분포 간의 피셔-레오 거리—를 활용해 강력하고 기하학적으로 탄탄한 OOD 메트릭을 구축한다.
• 훈련 중에 오직 내분포 데이터만 사용하면서도, OOD 데이터가 가용할 경우 이를 유용하게 활용할 수 있도록 한다.

제안 방법

• 딥 네URAL 네트워크의 소프트맥스 출력과 특징 표현을 모델링하는 다변량 정규분포의 기하다양체 위에 피셔-레오 거리를 리만 기하학적 메트릭으로 정의한다.
• 특징 공간에서 내분포 및 테스트 샘플의 확률 밀도 함수 간의 지오데식 거리를 계산하여 내재된 기하학적 불일치를 캡처한다.
• 통합된 피셔-레오 거리 메트릭을 통해 로짓과 중간 레이어 특징을 융합하여 내분포 및 이상치 분포 샘플 간의 분류 성능을 향상시킨다.
• 다양한 접근 수준을 지원한다: 블랙박스 모드에서는 로짓만 사용하고, 그레이박스 모드에서는 입력을 변형하기 위해 기울기를 활용해 특징 분류 성능을 향상시키며, 화이트박스 모드에서는 로짓과 저수준 특징을 융합한다.
• 그레이박스 및 화이트박스 설정에서 기울기 방향으로 작은 노이즈를 추가하는 사전 처리 단계를 도입하여 이상치 샘플에 대한 민감도를 증폭시킨다.
• 훈련 중에 오직 내분포 데이터만 사용하여 OOD 검출기를 학습하며, OOD 샘플이 가용할 경우 추가 미세조정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정보 기하학, 특히 피셔-레오 거리와 같은 기하학적 메트릭이 기존의 신뢰도 기반 방법보다 더 강력하고 일반화된 OOD 검출 메트릭을 제공할 수 있는가?
• RQ2 제안된 Igeood 프레임워크가 OOD 데이터가 훈련 중에 필요 없이 다양한 모델 접근 수준(블랙박스, 그레이박스, 화이트박스)에서 얼마나 효과적인가?
• RQ3 기하학적 거리 기반으로 로짓과 학습된 특징을 융합할 경우, 다양한 아키텍처와 데이터셋에서 OOD 검출 성능이 얼마나 향상되는가?
• RQ4 피셔-레오 거리의 사용이 기존 방법에 비해 작은 모델 파rameter 변화에 더 잘 견고하고 일반화 능력이 향상되는가?
• RQ5 훈련 중에 OOD 데이터가 제공되지 않더라도 높은 성능을 유지할 수 있으며, 가용할 경우 성능 향상에 기여하는가?

주요 결과

• Igeood는 다양한 네트워크 아키텍처(DenseNet, ResNet)와 함께 CIFAR-10, CIFAR-100, SVHN, TinyImageNet 등의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 블랙박스 설정에서 Igeood는 평균 AUC 77.0 ± 15를 기록하며 기존 방법을 초월하며, 로짓과 특징을 모두 사용하는 화이트박스 설정에서는 92.3 ± 5.9 AUC를 달성한다.
• ResNet 기반 SVHN 데이터셋에서 Igeood는 화이트박스 설정에서 99.6 ± 0.5 AUC를 기록하여 거의 완벽한 OOD 검출 능력을 입증한다.
• 이 방법은 높은 강건성을 보이며, 기울기를 활용한 사전 처리를 적용한 그레이박스 설정에서 AUC가 크게 향상된다(예: DenseNet 기반 CIFAR-10에서 91.7 ± 12에서 94.0 ± 9.0으로 상승).
• 그림 7~10의 히스토그램은 모든 설정에서 내분포와 OOD 점수 간 명확한 분리가 이루어짐을 보여주며, 이는 방법의 강력한 분류 능력을 확인한다.
• OOD 데이터가 훈련 중에 제공되지 않더라도 Igeood는 경쟁 가능한 성능을 기록한다(예: DenseNet 기반 CIFAR-10에서 77.0 ± 15 AUC), OOD 데이터가 검증 또는 미세조정에 사용될 경우 성능 향상이 더욱 두드러진다.