[논문 리뷰] On the Impact of Spurious Correlation for Out-of-distribution Detection

Yifei Ming, Hang Yin외 1명|arXiv (Cornell University)|2021. 09. 12.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 분포 외(out-of-distribution, OOD) 탐지의 형식화를 제안하며, 의미적 관련이 있는 불변(invariant) 특징과 부수적인 환경적(environmental) 특징을 구분함으로써, 훈련 데이터에서 부수적 상관관계가 증가할수록 OOD 탐지 성능이 심각하게 악화됨을 드러낸다. 또한, 비부수적 OOD에 대해 특징 기반 방법이 더 효과적임을 규명하고, 부수적 OOD 입력이 임의로 높은 신뢰도를 가질 수 있음을 이론적으로 증명함으로써, 환경적 특징에 의존하는 모델이 이러한 입력을 탐지할 수 없음을 밝힌다.

ABSTRACT

Modern neural networks can assign high confidence to inputs drawn from outside the training distribution, posing threats to models in real-world deployments. While much research attention has been placed on designing new out-of-distribution (OOD) detection methods, the precise definition of OOD is often left in vagueness and falls short of the desired notion of OOD in reality. In this paper, we present a new formalization and model the data shifts by taking into account both the invariant and environmental (spurious) features. Under such formalization, we systematically investigate how spurious correlation in the training set impacts OOD detection. Our results suggest that the detection performance is severely worsened when the correlation between spurious features and labels is increased in the training set. We further show insights on detection methods that are more effective in reducing the impact of spurious correlation and provide theoretical analysis on why reliance on environmental features leads to high OOD detection error. Our work aims to facilitate a better understanding of OOD samples and their formalization, as well as the exploration of methods that enhance OOD detection.

연구 동기 및 목표

• 실제 배포 환경에서 OOD 데이터에 대한 정확한 정의가 부족한 문제를 다스리기 위해, 특히 부수적 상관관계를 수반하는 데이터 분포 이동에 초점을 맞춘다.
• 데이터 분포 이동 상황에서 불변 특징과 환경적(부수적) 특징을 명시적으로 모델링함으로써 OOD 탐지를 형식화한다.
• 훈련 데이터에서 부수적 상관관계를 증가시킬수록 비부수적 OOD 및 부수적 OOD 입력에 대한 탐지 성능에 어떤 영향을 미치는지 조사한다.
• 부수적 상관관계에 대해 더 강건한 탐지 방법을 특정하고, 환경적 특징에 의존할 경우 OOD 오차가 높아지는 이유에 대한 이론적 통찰을 제공한다.
• 기존 벤치마크를 넘어서 부수적 OOD 예제를 포함하여 OOD 탐지 방법의 알고리즘적 강건성을 테스트하기 위해 평가 기준을 제안한다.

제안 방법

• 불변 특징(의미적 레이블과 관련된 특징)과 환경적 특징(부수적, 맥락에 의존하는 특징)을 분리하는 새로운 OOD 탐지 형식화를 제안한다.
• OOD의 두 유형을 정의한다: 부수적 OOD(환경적 특징은 포함하지만 불변 특징은 포함하지 않음)와 비부수적 OOD(양쪽 모두 포함하지 않음).
• 훈련 데이터에서 부수적 상관관계를 모델링하기 위해 Waterbirds 데이터셋과 성별 편향이 있는 CelebA를 사례 연구로 활용한다.
• 부수적 상관관계 수준을 점차 증가시키며 다양한 OOD 방법의 탐지 성능을 비교하는 광범위한 실험을 수행한다.
• 이론적 분석을 통해 환경적 특징에 의존하는 모델이 부수적 OOD 입력에 대해 임의로 높은 신뢰도를 부여할 수 있음을 증명함으로써, 이러한 입력이 표준 OOD 평가 프로토콜에서 탐지되지 않음을 밝힌다.
• 활성화 기반, 표현 기반 등의 특징 기반 OOD 탐지 방법을 평가하고, 점수 기반 및 생성 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 훈련 세트에서 환경적 특징과 레이블 간의 부수적 상관관계를 증가시킬 경우 OOD 탐지 성능에 어떤 영향을 미치는가?
• RQ2 다양한 OOD 탐지 방법이 부수적 상관관계의 부정적 영향을 어느 정도 완화하는가?
• RQ3 모델이 인덕티브 바이어스를 학습한 후에도 부수적 OOD 입력 탐지가 특히 어려운 이유는 무엇인가?
• RQ4 이론적 분석을 통해 임의로 높은 신뢰도를 가진 OOD 입력이 존재함을 설명할 수 있는가?
• RQ5 비부수적 OOD 및 부수적 OOD 입력 탐지에서 특징 기반 방법이 점수 기반 또는 생성 기반 방법보다 어떻게 비교되는가?

주요 결과

• 훈련 데이터에서의 부수적 상관관계는 부수적 OOD 및 비부수적 OOD 입력 모두에 대해 OOD 탐지 성능을 심각하게 악화시키며, 부수적 상관관계가 증가할수록 탐지 오차가 증가한다.
• 특징 기반 OOD 탐지 방법은 비부수적 OOD 데이터에서 다른 방법 대비 FPR95를 최대 46.73% 감소시켜 더 높은 강건성을 보임을 시사한다.
• 환경적(부수적) 특징에 의존하는 모델은 부수적 OOD 입력에 대해 임의로 높은 신뢰도를 부여할 수 있으며, 이로 인해 표준 OOD 평가 프로토콜 하에서는 탐지가 불가능해진다.
• 이론적 분석을 통해 부수적 OOD 입력이 임의로 높은 신뢰도를 가질 수 있음을 증명하였으며, 이는 모델이 비불변 특징에 의존할 경우 이들 입력이 내재 분포 데이터와 구분되지 않음을 의미한다.
• 기존의 벤치마크는 일반적으로 비부수적 OOD에 집중하지만, 부수적 OOD는 중요한데도 여전히 탐색되지 않은 도전 과제이며, 실세계 배포 환경에서 모델의 신뢰성을 떨어뜨린다.
• 본 연구는 현재 OOD 탐지 평가 체계가 부족하다는 점을 드러내며, 의미적으로는 분리되어 있지만 맥락적으로 유사한 입력(예: 물 배경이 있는 보트)에 대해 탐지 성능을 테스트하지 못함을 밝힌다.