[논문 리뷰] Predicting Out-of-Distribution Error with the Projection Norm

Yaodong Yu, Zitong Yang외 3명|arXiv (Cornell University)|2022. 02. 11.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 과거에 알려지지 않은 레이블 없이도 OOD(분포 외) 테스트 오차를 예측할 수 있는 새로운 메트릭인 Projection Norm을 소개한다. 이는 OOD 데이터에 대해 의사 레이블을 부여하고, 이를 기반으로 학습한 모델과 기준 내분포 모델 간의 L2 거리를 측정함으로써 이루어진다. 이 메트릭은 비전 및 언어 기반 벤치마크에서 기존 방법들을 능가하며, 적대적 예제에서도 비현저한 성능을 보이며, 과다 파rameter화된 선형 모델 이론에 기반한다.

ABSTRACT

We propose a metric -- Projection Norm -- to predict a model's performance on out-of-distribution (OOD) data without access to ground truth labels. Projection Norm first uses model predictions to pseudo-label test samples and then trains a new model on the pseudo-labels. The more the new model's parameters differ from an in-distribution model, the greater the predicted OOD error. Empirically, our approach outperforms existing methods on both image and text classification tasks and across different network architectures. Theoretically, we connect our approach to a bound on the test error for overparameterized linear models. Furthermore, we find that Projection Norm is the only approach that achieves non-trivial detection performance on adversarial examples. Our code is available at https://github.com/yaodongyu/ProjNorm.

연구 동기 및 목표

• 실제 모델 배포에 필수적인 지표인 지도 레이블이 없는 조건에서 OOD 테스트 오차를 예측할 수 있는 방법을 개발하는 것.
• 표준 검증 세트가 OOD 데이터에서의 성능 저하를 포착하지 못하는 딥 러닝의 분포 이탈 문제를 해결하는 것.
• 특히 고차원 및 복잡한 분포 이탈 상황에서 실증적으로 정확하고 이론적으로 해석 가능한 메트릭을 제공하는 것.
• 기존 방법이 실패하는 극단적인 분포 이탈, 예를 들어 적대적 예제와 같은 상황에서도 이 메트릭의 강건성을 평가하는 것.
• 활동 학습, 강화 학습 및 모델 모니터링에 활용할 수 있는 일반적인 도구로서 분포 차이를 측정하는 것.

제안 방법

• Projection Norm는 의사 레이블이 부여된 OOD 데이터로 학습한 모델과 내분포 데이터로 학습한 기준 모델 간의 L2 거리를 계산한다. 두 모델은 동일한 난수 시드로 초기화된다.
• 먼저 사전 학습된 모델을 사용하여 예측 결과에 기반해 비정상 데이터 테스트 샘플에 의사 레이블을 할당한다.
• 그 후 동일한 초기화 방식을 사용해 이 의사 레이블이 부여된 OOD 샘플로 새로운 모델을 피니튜닝한다.
• 피니튜닝된 OOD 모델과 기준 내분포 모델 간의 거리가 Projection Norm 점수로 사용된다.
• 이 방법은 학습 데이터의 기저 다각형에 수직인 분포 차이를 캡처하도록 설계되었으며, 로짓에만 의존하는 방법과는 다르다.
• 이론적 분석을 통해 Projection Norm는 과다 파rameter화된 선형 모델에서 일반화 경계와 연결되며, 진짜 모델이 학습 및 테스트 데이터의 겹침 부분에 투영된 정도를 측정함을 보여준다.

실험 결과

연구 질문

• RQ1 지도 레이블이 없이도 OOD 데이터에 대한 모델 예측 결과만을 사용해 OOD 테스트 오차를 예측할 수 있는가?
• RQ2 기존의 OOD 오차 예측 방법과 비교해 Projection Norm의 정확도와 실제 오차와의 상관관계는 어떠한가?
• RQ3 적대적 예제와 같은 극단적인 분포 이탈 상황에서도 Projection Norm은 여전히 효과적인가?
• RQ4 특히 고차원 선형 모델에서 Projection Norm의 성능에 대한 이론적 기반은 무엇인가?
• RQ5 Projection Norm는 기존 방법들과 보완적인 정보를 제공할 수 있으며, 이를 통해 앙상블 예측 성능을 향상시킬 수 있는가?

주요 결과

• Projection Norm는 ImageNet, CIFAR-10, GLUE 등 다양한 비전 및 언어 벤치마크에서 기존 방법들을 능가하며 OOD 오차를 예측한다.
• 적대적 예제에 대해서도 비현저한 탐지 성능을 기록하며, 평가된 방법들 중에서 유일하게 이를 성취함으로써 극단적인 분포 이탈에 대한 강건성을 입증한다.
• 실증적으로 Projection Norm의 오차 예측은 기존 방법들과 거의 상관관계가 없으며, 앙상블에 통합할 경우 상당한 성능 향상을 이룬다.
• 이론적 분석을 통해 Projection Norm는 과다 파arameter화된 선형 모델에서 진짜 모델이 학습 및 테스트 데이터의 기저 다각형 겹침 부분에 투영된 정도를 측정함을 밝혔다.
• 선형 설정에서는 학습 데이터 기저 다각형에 수직인 정보를 캡처하므로, 로짓 기반 방법과의 보완적 신호를 제공함을 설명한다.
• 이 방법은 모델 아키텍처 및 데이터셋 이탈에 강건하며, 레이블 이탈 및 도메인 이탈을 포함한 다양한 환경에서 일관된 성능을 보였다.