[논문 리뷰] Average of Pruning: Improving Performance and Stability of Out-of-Distribution Detection

Zhen Cheng, Fei Zhu외 2명|arXiv (Cornell University)|2023. 03. 02.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 모델 앙상블과 구조적 프루닝을 조합한 단순하면서도 효과적인 방법인 평균 프루닝(AoP)을 제안한다. 이는 딥 네URAL 네트워크에서 분포 외(OoD) 탐지 성능의 안정성과 성능을 햖थ하다. 손실 경관을 평균화하여 매끄럽게 하고, 프루닝을 통해 과적합을 줄임으로써 AoP는 다양한 아키텍처와 데이터셋에서 일관된 향상을 이끌어내며, AUROC 향상과 모델 선택에 대한 강건성 향상에 기여한다.

ABSTRACT

Detecting Out-of-distribution (OOD) inputs have been a critical issue for neural networks in the open world. However, the unstable behavior of OOD detection along the optimization trajectory during training has not been explored clearly. In this paper, we first find the performance of OOD detection suffers from overfitting and instability during training: 1) the performance could decrease when the training error is near zero, and 2) the performance would vary sharply in the final stage of training. Based on our findings, we propose Average of Pruning (AoP), consisting of model averaging and pruning, to mitigate the unstable behaviors. Specifically, model averaging can help achieve a stable performance by smoothing the landscape, and pruning is certified to eliminate the overfitting by eliminating redundant features. Comprehensive experiments on various datasets and architectures are conducted to verify the effectiveness of our method.

연구 동기 및 목표

• 딥 네URAL 네트워크의 훈련 궤적 동안 OoD 탐지 성능의 불안정성과 과적합 문제를 탐구하기 위해.
• 훈련 오차가 거의 0에 가까워졌을 때조차도 AUROC에서 과적합과 불안정성이 발생하는 이유를 규명하기 위해.
• 손실 경관을 매끄럽게 하고 작은 가중치 변동에 대한 민감도를 줄이기 위해 모델 앙상블을 활용하여 불안정성을 완화하기 위해.
• 내부 데이터와 분포 외 데이터 간에 공통으로 존재하는 잡음이 많은 특징을 제거하기 위해 프루닝을 적용하여 과적합을 완화하기 위해.
• 기존 탐지 헤드나 훈련 절차를 수정하지 않고도 적용 가능한 플러그 앤 플레이 모듈인 AoP를 개발하기 위해.

제안 방법

• 최종 훈련 체크포인트에 대해 모델 앙상블을 적용하여, 온라인 모델의 가중치를 이동 평균으로 처리함으로써 더 평탄하고 안정적인 가중치 구성으로 만든다.
• 훈련 후에 러닝 티켓 가설(LTH)과 가중치 리워딩을 사용하여 프루닝을 적용함으로써 전역 희박성(global sparsity)을 강제하여 불필요한 특징을 제거한다.
• 평균화와 프루닝의 조합이 AoP를 형성하며, 이는 어떤 OoD 탐지 방법에도 적용 가능한 모듈러한 향상 기법이다.
• 이론적 분석에 기반하여 L1 정규화(LASSO)가 과적합을 줄이는 데 기여함을 규명하고, 이를 바탕으로 프루닝을 희박성 유도 메커니즘으로 사용하는 것이 타당함을 입증한다.
• 대표성 학습과 탐지 성능에 미치는 AoP의 영향을 평가하기 위해 특징 시각화와 메트릭 추적(AUROC, AURC, FPR95)을 수행한다.
• 일관된 일반화 성능를 검증하기 위해 다양한 데이터셋(CIFAR-10, LSUN 등)과 아키텍처(ResNet-18, VGG-16, WideResNet, MobileNet)를 대상으로 실험을 수행한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크의 훈련 궤적 동안 OoD 탐지 성능(AUROC 기준)은 어떻게 변화하는가?
• RQ2 특히 최종 훈련 단계에서 테스트 오차가 낮게 유지되고 있음에도 불구하고 AUROC가 떨어지거나 급격히 변동하는 이유는 무엇인가?
• RQ3 손실 경관을 매끄럽게 함으로써 모델 앙상블이 OoD 탐지 성능의 안정성을 얼마나 향상시키는가?
• RQ4 내부 데이터와 분포 외 데이터 간에 공통으로 존재하는 잡음이 많은 특징을 제거함으로써 프루닝이 OoD 탐지에서 과적합을 어떻게 줄이는가?
• RQ5 AoP와 같은 단순하고 모듈러한 방법이 다양한 아키텍처와 데이터셋에서 일관되게 OoD 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 훈련 오차가 안정되어 있음에도 불구하고 최종 훈련 단계에서 OoD 탐지의 AUROC가 불안정함을 확인하였으며, 이는 모델 선택의 신뢰성에 문제가 있음을 시사한다.
• 훈련 오차가 거의 0에 가까워진 후에도 계속 훈련이 진행되면, 내부 데이터와 분포 외 데이터 간에 공통으로 존재하는 잡음이 많은 특징을 모델이 기억함으로써 과적합이 발생한다.
• 모델 앙상블은 안정성 향상에 있어 뚜렷한 효과를 보이며, 작은 가중치 변동에 대한 민감도를 줄여 최종 체크포인트의 신뢰도를 높인다.
• 가중치 리워딩을 동반한 LTH를 통한 프루닝은 반복적 프루닝 전략 중에서 가장 높은 성능을 기록하며, 무작위 프루닝과 피니어튜닝을 능가한다.
• ResNet-18(CIFAR-10)에서 AUROC를 0.72점 향상시키고, WideResNet-40-2에서는 0.40점 향상시키며, 평가된 모든 아키텍처에서 일관된 성능 향상을 기록한다.
• AoP는 오분류 탐지 성능 또한 향상시키며, WideResNet-40-2에서 AUROC를 93.58%에서 93.98%로 향상시키고, FPR95를 40.03%에서 36.07%로 감소시킨다.