[논문 리뷰] Sketching Curvature for Efficient Out-of-Distribution Detection for Deep Neural Networks

Apoorva Sharma, Navid Azizan외 1명|arXiv (Cornell University)|2021. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 10

한 줄 요약

SCOD는 행렬 스케칭을 사용하여 피셔 정보 행렬의 상위 고유공간을 효율적으로 근사함으로써 확장 가능하고 아키텍처에 종속되지 않는 프레임워크이다. 이는 훈련 곡률 방향에 대한 기울기 수직도를 측정함으로써 입력의 이질성(비정상성)을 측정함으로써 실시간으로 사후적 이상치 탐지(Out-of-Distribution, OoD)를 가능하게 한다. 샘플링 기반 기준선인 딥 앙상블이나 KFAC 라플라스와 비교해도 상당히 낮은 계산 비용으로 최신 기술(SOTA) 수준 또는 그에 준하는 OoD 탐지 성능을 달성한다.

ABSTRACT

In order to safely deploy Deep Neural Networks (DNNs) within the perception pipelines of real-time decision making systems, there is a need for safeguards that can detect out-of-training-distribution (OoD) inputs both efficiently and accurately. Building on recent work leveraging the local curvature of DNNs to reason about epistemic uncertainty, we propose Sketching Curvature of OoD Detection (SCOD), an architecture-agnostic framework for equipping any trained DNN with a task-relevant epistemic uncertainty estimate. Offline, given a trained model and its training data, SCOD employs tools from matrix sketching to tractably compute a low-rank approximation of the Fisher information matrix, which characterizes which directions in the weight space are most influential on the predictions over the training data. Online, we estimate uncertainty by measuring how much perturbations orthogonal to these directions can alter predictions at a new test input. We apply SCOD to pre-trained networks of varying architectures on several tasks, ranging from regression to classification. We demonstrate that SCOD achieves comparable or better OoD detection performance with lower computational burden relative to existing baselines.

연구 동기 및 목표

• 실시간 딥 러닝 시스템에서 이상 입력(Out-of-Distribution, OoD)을 효율적으로 탐지하는 문제를 해결하기 위해.
• 대규모 딥 네트워크(DNN)에 대해 확장 가능하며 임무에 관련된 사후적 예측 불확실성 측도를 제공하기 위해.
• 불확실성 추정에서 몬테카를로 샘플링이나 전체 헤시안 행렬 계산의 높은 계산 비용을 피하기 위해.
• 아키텍처나 훈련 과정에 관계없이 어떤 사전 훈련된 DNN에도 적용 가능하게 하기 위해.
• 임무에 관련된 가중치 공간의 곡률에 초점을 맞춤으로써 OoD 탐지 성능을 향상시키기 위해.

제안 방법

• 오프라인에서, SCOD는 훈련 데이터를 기반으로 한 기울기들에 행렬 스케칭 기법을 적용하여 피셔 정보 행렬의 저랭크 근사를 계산한다.
• 이 방법은 모델 예측에 가장 영향을 미치는 가중치 방향을 나타내는 피셔 행렬의 상위 고유공간을 식별한다.
• 온라인에서, 테스트 입력의 기울기가 훈련 곡률 부분공간과 수직도인지를 측정함으로써 입력의 이질성(비정상성)을 추정한다.
• 이 수직도 점수는 테스트 입력이 훈련 분포에서 얼마나 떨어져 있는지를 나타내는 스칼라 불확실성 지표로 기능한다.
• 이 접근법은 사후분포에서 샘플링하는 대신, 백프로파게이션과 효율적인 행렬 연산을 사용하여 실시간 추론을 가능하게 한다.
• 특히 대규모 모델에서 성능 향상과 계산 부담 감소를 위해 곡률 분석을 최종 몇 층으로 제한한다.

실험 결과

연구 질문

• RQ1 피셔 정보 행렬의 저랭크 근사를 사용하여 OoD 탐지에 대한 예측 불확실성을 효율적으로 추정할 수 있는가?
• RQ2 AUROC와 추론 비용 측면에서, SCOD의 성능은 딥 앙상블이나 KFAC 라플라스와 같은 샘플링 기반 방법과 비교해 어떻게 되는가?
• RQ3 DNN의 최종 층에 곡률 분석을 집중함으로써 OoD 탐지 성능과 효율성이 향상되는가?
• RQ4 SCOD는 아키텍처나 훈련 데이터 분포에 관계없이 재훈련 없이도 어떤 사전 훈련된 DNN에나 적용 가능한가?
• RQ5 SCOD의 불확실성 지표는 모델 출력 신뢰도를 불확실성의 대체 지표로 사용하는 단순한 접근법과 비교해 어떻게 되는가?

주요 결과

• SCOD는 CIFAR10과 TaxiNet을 포함한 모든 평가된 회귀 및 분류 작업에서 딥 앙상블과 동일하거나 뛰어난 AUROC 점수를 달성한다.
• 50,000개의 훈련 포인트를 가진 TaxiNet 회귀 작업에서, SCOD는 미니배치를 통한 헤시안 추정이 비효율적인 로컬 앙상블보다 뛰어난 성능을 보인다.
• SCOD의 불확실성 지표는 가중치 샘플링 없이 계산되기 때문에, KFAC 라플라스나 딥 앙상블보다 상당히 낮은 추론 오버헤드를 가진다.
• 곡률 분석을 최종 층으로 제한할 경우, 특히 CIFAR10에서 전체 가중치 공간 분석이 낮은 성능을 보이는 데 비해, SCOD는 더 높은 AUROC와 더 빠른 런타임을 달성한다.
• 분류 작업에서, SCOD는 이러한 작업에서 잘 작동하는 것으로 알려진 소프트맥스 신뢰도를 사용하는 난이도 높은 기준선을 뛰어넘는다.
• 이 방법은 모델 아키텍처에 대해 강건하며, 재훈련 없이도 사전 훈련된 모델(예: CIFAR10에서 사전 훈련된 DenseNet121)에 사후적으로 적용 가능하다.