[논문 리뷰] Understanding and Testing Generalization of Deep Networks on Out-of-Distribution Data

Rui Hu, Jitao Sang외 3명|arXiv (Cornell University)|2021. 11. 17.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 4

한 줄 요약

이 논문은 표준 내분포(ID) 테스트에서 발생하는 실패를 규명함으로써, 분포 외 데이터에 대한 딥 네트워크의 일반화 능력을 평가하기 위해 새로운 OOD 테스트 프레임워크를 제안한다. 세 가지 분포 이탈 유형—마진널, 조건부, 공동—을 통합된 분류 체계로 제안하고, ID 테스트의 실패 원인이 부작위 상관관계에 기인함을 입증한다. 제안된 OOD 테스트는 유해한 불필요한 특징을 식별하여 모델 디버깅을 타겟팅하고 실용적 성능 향상을 가능하게 한다.

ABSTRACT

Deep network models perform excellently on In-Distribution (ID) data, but can significantly fail on Out-Of-Distribution (OOD) data. While developing methods focus on improving OOD generalization, few attention has been paid to evaluating the capability of models to handle OOD data. This study is devoted to analyzing the problem of experimental ID test and designing OOD test paradigm to accurately evaluate the practical performance. Our analysis is based on an introduced categorization of three types of distribution shifts to generate OOD data. Main observations include: (1) ID test fails in neither reflecting the actual performance of a single model nor comparing between different models under OOD data. (2) The ID test failure can be ascribed to the learned marginal and conditional spurious correlations resulted from the corresponding distribution shifts. Based on this, we propose novel OOD test paradigms to evaluate the generalization capacity of models to unseen data, and discuss how to use OOD test results to find bugs of models to guide model debugging.

연구 동기 및 목표

• 표준 내분포(ID) 테스트가 실제 세계 성능을 반영하지 못함에 따라, 분포 외(OOD) 데이터에 대한 딥 네트워크 평가의 격차를 메우기 위해.
• ID 테스트 결과가 분포 이탈 상황에서 일반화되지 않는 이유를 조사하기 위해, 특히 분포 이탈 하에서의 원인을 분석하기 위해.
• 모델의 OOD 일반화 능력에 기반해 평가하고 디버깅할 수 있는 실용적인 OOD 테스팅 프레임워크를 개발하기 위해.
• 실제 배포 환경에서 모델 성능을 떨어뜨리는 핵심적인 불필요한 특징("버그")을 식별할 수 있도록 하기 위해.

제안 방법

• 마진널, 조건부, 공동의 세 가지 유형의 분포 이탈을 통합된 분류 체계로 도입하여 OOD 데이터 생성을 시뮬레이션하기 위해.
• 제어된 분포 이탈 설정 하에서 CelebA 및 Colored MNIST 데이터셋을 활용해 ID 및 OOD 학습/테스트 세트를 구성하기 위해.
• ID 및 OOD 설정 간의 성능 차이를 분석하여 표준 ID 평가의 실패 원인을 진단하기 위해.
• ID 테스트 실패의 근본 원인이 되는 두 가지 유형의 부작위 상관관계—마진널(불필요한 특징 사용) 및 조건부(틀린 특징-라벨 상관관계)—를 규명하기 위해.
• 알려진 및 알려지지 않은 불필요한 특징에 대해 OOD 테스트 프레임워크를 제안하며, 다수 수준의 제어된 분포 이탈을 활용하기 위해.
• 불필요한 특징이 성능을 심각하게 떨어뜨리는지 분석함으로써 OOD 테스트 결과를 폐쇄형 워크플로우에 통합하여 모델 디버깅을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 표준 내분포(ID) 테스트가 왜 딥 네트워크의 실제 분포 외(OOD) 성능을 반영하지 못하는가?
• RQ2 OOD 일반화 상황에서 ID 테스트 실패의 근본 원인은 무엇인가?
• RQ3 어떻게 하면 불확실한 데이터에 대해 신뢰할 수 있는 OOD 테스트 프레임워크를 설계할 수 있는가?
• RQ4 OOD 테스트 결과를 활용해 딥 러닝 모델의 해로운 불필요한 특징을 식별하고 디버깅할 수 있는가?
• RQ5 마진널 및 조건부 부작위 상관관계는 OOD 일반화를 어떻게 약화시키는가?

주요 결과

• ID 테스트가 실제 OOD 성능을 반영하지 못하는 이유는 분포 이탈로 인해 모델이 부작위 상관관계를 학습하기 때문이며, 이는 잘못된 성능 추정을 초래한다.
• 마진널 및 조건부 부작위 상관관계—불필요한 특징의 분포 이탈과 잘못된 레이블 의존성에 기인한 것—이 직접적으로 ID 테스트 실패의 원인이 된다.
• 실험 결과, ID 설정 하에서 학습된 모델은 특히 색상이나 질감과 같은 불필요한 특징이 잘못 사용될 경우 OOD 데이터에서 성능이 크게 떨어지는 것으로 나타났다.
• 제안된 OOD 테스트 프레임워크는 성능 저하 원인이 특정 불필요한 특징(예: 성별 분류 작업에서의 머리카락 색상)인지를 성공적으로 탐지한다.
• 다양한 수준과 유형의 분포 이탈에 따른 성능 저하 분석을 통해 OOD 테스트는 어떤 특징이 핵심 버그인지 식별하며, 이는 특정 특징에 대한 데이터 또는 모델 개선 조치를 가능하게 한다.
• OOD 테스팅 워크플로우는 테스트와 디버깅 간의 폐쇄형 루프를 제공하며, 특징 기반 진단을 통해 모델 개선을 이끌어내는 데 기여한다.