[논문 리뷰] Shaping Parameter Contribution Patterns for Out-of-Distribution Detection

Haonan Xu, Yang Yang|arXiv (Cornell University)|2026. 03. 07.

Anomaly Detection Techniques and Applications인용 수 0

한 줄 요약

SPCP 훈련은 분류기 매개변수 기여를 정규화하여 경계 지향 조밀 패턴을 강제함으로써 과신한 OOD 예측을 피하고, ID 정확도는 유지하며 OOD 탐지를 개선합니다.

ABSTRACT

Out-of-distribution (OOD) detection is a well-known challenge due to deep models often producing overconfident. In this paper, we reveal a key insight that trained classifiers tend to rely on sparse parameter contribution patterns, meaning that only a few dominant parameters drive predictions. This brittleness can be exploited by OOD inputs that anomalously trigger these parameters, resulting in overconfident predictions. To address this issue, we propose a simple yet effective method called Shaping Parameter Contribution Patterns (SPCP), which enhances OOD detection robustness by encouraging the classifier to learn boundary-oriented dense contribution patterns. Specifically, SPCP operates during training by rectifying excessively high parameter contributions based on a dynamically estimated threshold. This mechanism promotes the classifier to rely on a broader set of parameters for decision-making, thereby reducing the risk of overconfident predictions caused by anomalously triggered parameters, while preserving in-distribution (ID) performance. Extensive experiments under various OOD detection setups verify the effectiveness of SPCP.

연구 동기 및 목표

• 훈련된 분류기의 매개변수 기여가 희소하기 때문에 OOD 탐 Detection의 취약성을 설명합니다.
• Dominant parameter contributions를 한정하는 학습 시간 정규화(SPCP)를 제안합니다.
• SPCP가 경계 지향의 조밀한 기여 패턴으로 이어지되 분포 내 성능을 손상시키지 않는지 보여줍니다.
• SPCP의 CIFAR 및 ImageNet 벤치마크 전반의 효과성과 다양한 OOD 방법과의 호환성을 입증합니다.

제안 방법

• parameter contribution c_k(x; θ_ij)를 θ_ij가 존재할 때의 출력 변화로 정의합니다( Eq. 4 ).
• 고수준 의사결정 경계에 가장 큰 영향을 주는 분류기 가중치 W에 초점을 맞춥니다( Eq. 5 ).
• λ를 동적 임계값으로 초과하는 기여를 잘라내어 SPCP를 도입합니다( Eq. 7 ); 잘린 기여로 f^SPCP_k(x; λ)를 계산합니다( Eq. 8 ).
• 미니배치 전체의 기여 중 상위-ρ 분위수의 EMA를 통해 각 반복에서 λ를 추정합니다( Eq. 9 ).
• f^SPCP에 대해 교차 엔트로피 손실로 학습하고 OOD 탐지를 위해 Energy 점수를 사용합니다( Eq. 11 ).
• 다양한 백본과 OOD 시나리오로 OpenOOD 벤치마크에서 SPCP를 실증적으로 검증합니다(표 1–4).

실험 결과

연구 질문

• RQ1 훈련 중 지배적 분류기 매개변수 기여를 제한하는 것이 ID 정확도에 해를 끼치지 않으면서 OOD 과신을 줄일 수 있습니까?
• RQ2 경계 지향의 조밀한 기여 패턴이 근접 및 원거리 OOD 시나리오에서 ID-OOD 분리를 개선합니까?
• RQ3 SPCP가 기존 OOD 점수화 방법 및 백본 범주와 호환됩니까?
• RQ4 Contribution truncation을 정적 임계값보다 EMA 기반의 동적 임계값이 어떻게 비교됩니다?
• RQ5 CIFAR 및 ImageNet 규모 벤치마크에서 SPCP가 로버스트함에 어떤 영향이 있습니까?

주요 결과

• SPCP는 ID 정확도를 유지하면서 다양한 근접 및 원거리 OOD 설정에서 OOD 탐지를 개선합니다.
• 기여를 형성하면 ID와 OOD 점수 분포 간의 중첩이 줄어들어 ID-OOD 분리가 강화됩니다.
• SPCP는 포스트 호크(post-hoc) 및 학습 시 정규화 방법과 호환되며 백본 간에 경쟁력 있는 성과를 보입니다.
• 탈락 연구(Ablation)에서 학습 시간 동안의 잘림이 추론 시점의 잘림보다 더 효과적이며 EMA를 통한 동적 λ 추정이 유익합니다.
• SPCP는 서로 다른 백본(ResNet-18, WideResNet-28-10, DenseNet-101)에 일반화되며 다른 OOD 방법과 결합해도 효과적입니다.