[논문 리뷰] Detecting Out-of-Distribution Examples with In-distribution Examples and Gram Matrices

Chandramouli Shama Sastry, Sageev Oore|arXiv (Cornell University)|2019. 12. 28.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 21

한 줄 요약

이 논문은 훈련 데이터 범위 내의 통계적 분포를 기반으로 한 중간 활성화 특성의 그람 행렬을 활용하여, 예측된 클래스와 비정상적인 활성화 패턴 간의 불일치를 식별함으로써, OOD(분포 외) 예측을 위한 새로운 제로샷 방법을 제안한다. 각 그람 행렬 값이 훈련 시 기록된 범위 분포와 비교되며, 이로 인해 OOD 데이터가 없더라도 다양한 아키텍처와 데이터셋에서 최신 기술 수준(SOTA)의 OOD 탐지 성능을 달성한다.

ABSTRACT

When presented with Out-of-Distribution (OOD) examples, deep neural networks yield confident, incorrect predictions. Detecting OOD examples is challenging, and the potential risks are high. In this paper, we propose to detect OOD examples by identifying inconsistencies between activity patterns and class predicted. We find that characterizing activity patterns by Gram matrices and identifying anomalies in gram matrix values can yield high OOD detection rates. We identify anomalies in the gram matrices by simply comparing each value with its respective range observed over the training data. Unlike many approaches, this can be used with any pre-trained softmax classifier and does not require access to OOD data for fine-tuning hyperparameters, nor does it require OOD access for inferring parameters. The method is applicable across a variety of architectures and vision datasets and, for the important and surprisingly hard task of detecting far-from-distribution out-of-distribution examples, it generally performs better than or equal to state-of-the-art OOD detection methods (including those that do assume access to OOD examples).

연구 동기 및 목표

• 딥 네트워크에서 과신된 잘못된 예측을 내는 분포 외(OOD) 예제를 탐지하는 데 있어 핵심적인 과제를 해결하기 위해.
• 훈련 또는 하이퍼파라미터 튜닝 중에 OOD 데이터에 접근하지 않더라도 OOD 입력을 탐지할 수 있는 방법을 개발하기 위해.
• 그람 행렬을 통한 특성 상관 패턴 분석을 통해, 특히 분포에서 멀리 떨어진 OOD 예제에 대해 탐지 성능을 향상시키기 위해.
• 모든 사전 훈련된 소프트맥스 분류기와 호환되는 플러그 앤 플레이 솔루션을 만들기 위해, 다양한 아키텍처와 비전 데이터셋에 넓은 적용 가능성을 확보하기 위해.

제안 방법

• 중간 레이어의 활성화 맵 간의 p차 특성 상관관계를 계산하기 위해 표준 그람 행렬을 확장한다.
• 훈련 중에 관측된 그람 행렬 값의 범위를 이상 탐지의 통계적 기준으로 사용한다.
• 테스트 단계에서 그람 행렬 값이 인라인 훈련 범위를 벗어나는 경우를 탐지하여 OOD 예제로 식별한다.
• 최종 레이어에서의 예측 클래스와 비정상적인 활성화 패턴을 결합하여 부적합한 예측을 경고한다.
• 재학습 또는 미세조정 없이 사전 훈련된 모델에 직접 적용하여 제로샷 배포를 가능하게 한다.
• 훈련 범위의 분위수 기반 단순 임계값 기반 메커니즘을 사용하여 이상 그람 행렬 항목을 식별한다.

실험 결과

연구 질문

• RQ1 확장된 그람 행렬을 통해 캡처된 특성 상관 패턴은 OOD 데이터가 없이도 효과적으로 OOD 입력을 탐지할 수 있는가?
• RQ2 OOD 데이터가 필요한 최신 기술 수준의 OOD 탐지 방법과 비교해 볼 때, 그람 행렬 기반 이상 탐지 성능는 어떻게 되는가?
• RQ3 이 방법은 다양한 아키텍처(예: ResNet, DenseNet)와 데이터셋(예: CIFAR-10, SVHN, LSUN)에 대해 일반화 가능한가?
• RQ4 특히 분포에서 멀리 떨어진 OOD 예제에 대해 이 방법은 높은 성능를 유지하는가?
• RQ5 이 방법은 완전히 연결된 신경망 및 비컨볼루션 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• 이 방법은 OOD 데이터를 전혀 사용하지 않아도 CIFAR-10, CIFAR-100, SVHN, TinyImageNet, LSUN, iSUN 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 AUROC 점수를 달성한다.
• ResNet-18을 사용한 도전적인 LSUN OOD 세트에서, 이 방법은 TNR@TPR95 99.85%와 AUROC 98.66%를 기록하여 마할라노비스 기반 방법을 뛰어넘는다.
• LSUN과 iSUN과 같은 분포에서 멀리 떨어진 OOD 예제에 대해서도, OOD 데이터를 튜닝에 사용하는 최신 기술 수준 방법들과 비교해 일관되게 우수하거나 동등한 성능을 보인다.
• 300개 유닛을 가진 MLP에서 KMNIST에 대해 97.37%의 탐지 정확도, Fashion-MNIST에 대해 96.55%의 탐지 정확도를 기록하여, 완전히 연결된 네트워크에서도 효과적임을 입증한다.
• 이 방법을 MSP(Maximum Softmax Probability)와 조합하면 성능이 향상되며, ResNet-18을 사용한 LSUN에서 AUROC 98.66%를 달성한다.
• 이 방법은 아키텍처 간에 강건하다: ResNet-18을 사용한 iSUN에서 95.18% AUROC, 동일한 모델로 TinyImageNet에서 97.82% AUROC를 기록한다.