[논문 리뷰] OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization

Nanyang Ye, Kaican Li외 6명|arXiv (Cornell University)|2021. 06. 07.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 외부 분포(Out-of-Distribution, OoD) 일반화에서 발생하는 두 가지 다른 유형의 분포 이탈—다양성 이탈과 상관관계 이탈—을 정량화하는 OoD-Bench라는 프레임워크를 소개한다. 각 이탈 유형이 지배하는 벤치마크에서 기존 OoD 알고리즘을 평가함으로써, 저자들은 대부분의 방법이 한 가지 유형의 이탈에서만 뛰어난 성능을 보이며, 현재 접근 방식의 핵심적 한계를 드러내고, 이격 특성 기반의 더 균형 잡힌 평가와 설계가 필요하다고 제안한다.

ABSTRACT

Deep learning has achieved tremendous success with independent and identically distributed (i.i.d.) data. However, the performance of neural networks often degenerates drastically when encountering out-of-distribution (OoD) data, i.e., when training and test data are sampled from different distributions. While a plethora of algorithms have been proposed for OoD generalization, our understanding of the data used to train and evaluate these algorithms remains stagnant. In this work, we first identify and measure two distinct kinds of distribution shifts that are ubiquitous in various datasets. Next, through extensive experiments, we compare OoD generalization algorithms across two groups of benchmarks, each dominated by one of the distribution shifts, revealing their strengths on one shift as well as limitations on the other shift. Overall, we position existing datasets and algorithms from different research areas seemingly unconnected into the same coherent picture. It may serve as a foothold that can be resorted to by future OoD generalization research. Our code is available at https://github.com/ynysjtu/ood_bench.

연구 동기 및 목표

• OoD 데이터셋에서 흔히 발견되는 두 가지 다른 유형의 분포 이탈—다양성 이탈과 상관관계 이탈—을 식별하고 정량화하는 것.
• 각 유형의 이탈이 지배하는 벤치마크에서 기존 OoD 일반화 알고리즘의 성능을 평가하는 것.
• 최근 OoD 알고리즘이 우월함을 주장함에도 불구하고, 왜 종종 ERM(에르모니우스 레이팅 모델)과 비슷한 성능을 보이는지 설명하는 것.
• 도메인 일반화, 인과 추론, 안정적 학습 등의 분야에서 산재한 OoD 연구를 통합적으로 이해할 수 있는 통합 프레임워크를 제공하는 것.
• 향후 OoD 연구를 위해 두 유형의 이탈 모두에 대한 종합적 평가와 개선된 데이터셋 설계를 제안하는 것.

제안 방법

• 저자들은 잠재 환경 분포의 지지 집합의 차이를 다양성 이탈로 정의하고, 동일한 지지 집합 위에서의 확률 밀도 함수의 차이를 상관관계 이탈로 정의한다.
• 잠재 공간 분석과 분포 비교를 이용해 어떤 레이블이 부여된 데이터셋에서 각 이탈의 강도를 추정하는 방법을 제안한다.
• 두 가지 벤치마크 그룹에 대한 광범위한 실험을 수행한다: 하나는 다양성 이탈이 지배하는 그룹(예: VLCS, PACS), 다른 하나는 상관관계 이탈이 지배하는 그룹(예: ImageNet-V2).
• 모든 알고리즘을 두 설정 모두에서 평가하여 상대적 성능를 비교하고, 강점과 약점을 파악한다.
• 도메인 일반화, 인과 추론, 안정적 학습 등의 다양한 연구 분야에서의 통찰을 통합하여 OoD 이탈에 대한 일관된 이해를 구축한다.
• 정의된 하이퍼파rameter 검색 공간을 알고리즘 간 공정한 비교를 위해 표준화하며, 보조 자료의 표에 기본값과 분포를 제공한다.

실험 결과

연구 질문

• RQ1 OoD 데이터셋의 분포 이탈은 어떻게 정량적으로 측정하고 분류할 수 있는가?
• RQ2 왜 많은 고급 OoD 일반화 알고리즘이 실질적으로 ERM과 비슷한 성능을 보이는가?
• RQ3 기존 OoD 알고리즘은 다양한 유형의 분포 이탈에서 일관된 성능를 보이는가?
• RQ4 다양성 이탈과 상관관계 이탈은 모델 일반화에 어떻게 다른 영향을 미치는가?
• RQ5 이러한 발견은 향후 OoD 벤치마크 설계와 알고리즘 개발에 어떤 함의를 갖는가?

주요 결과

• 다양성 이탈이 지배하는 데이터셋(예: VLCS, PACS)에서는 CORAL, SagNet, RSC 등의 알고리즘이 ERM을 초월하거나 이를 따라잡는 성능를 보이며, 이는 이전의 주장과 일치한다.
• 상관관계 이탈이 지배하는 ImageNet-V2에서는 ERM이 모든 다른 OoD 알고리즘을 압도하며, 다양성 이탈 벤치마크와는 성능 순서가 뒤바뀌어 나타난다.
• ERM과 고급 OoD 방법 간의 성능 격차는 알고리즘 자체의 결함 때문이 아니라, 평가 벤치마크의 이탈 유형이 맞지 않기 때문이다.
• 대부분의 OoD 알고리즘은 오직 한 가지 유형의 이탈에서만 효과적이며, 다양성 이탈과 상관관계 이탈 양쪽에 걸쳐 강건하지 못함을 시사한다.
• 현재의 벤치마크와 알고리즘은 이격 유형에 걸쳐 균형 잡힌 평가를 하지 않아, 알고리즘 발전의 과대평가를 초래하고 있음을 드러낸다.
• 저자들은 실제 세계의 이격을 미묘하게 반영하는 새로운 벤치마크를 설계하고, 알고리즘을 다양성 이탈 및 상관관계 이탈 데이터셋 양쪽에서 평가하여 종합적 평가를 보장할 것을 제안한다.