[논문 리뷰] OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms

Nanyang Ye, Kaican Li외 5명|arXiv (Cornell University)|2021. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 85인용 수 22

한 줄 요약

이 논문은 딥러닝에서 분포 외 일반화(out-of-distribution, OoD)를 평가하기 위한 통합 벤치마크인 OoD-Bench를 소개한다. 이는 두 가지 광범위한 분포 이탈 유형을 규명하고, 이러한 이탈 유형들에 대해 기존 OoD 알고리즘을 평가하며, 한 쪽 이탈 유형에 대해 강력한 성능을 보이는 알고리즘이 다른 쪽에서는 성능이 떨어지는 경향을 드러내어 더 견고하고 일반화 능력이 뛰어난 방법의 필요성을 강조한다.

ABSTRACT

Deep learning has achieved tremendous success with independent and identically distributed (i.i.d.) data. However, the performance of neural networks often degenerates drastically when encountering out-of-distribution (OoD) data, i.e., training and test data are sampled from different distributions. While a plethora of algorithms has been proposed to deal with OoD generalization, our understanding of the data used to train and evaluate these algorithms remains stagnant. In this work, we position existing datasets and algorithms from various research areas (e.g., domain generalization, stable learning, invariant risk minimization) seemingly unconnected into the same coherent picture. First, we identify and measure two distinct kinds of distribution shifts that are ubiquitous in various datasets. Next, we compare various OoD generalization algorithms with a new benchmark dominated by the two distribution shifts. Through extensive experiments, we show that existing OoD algorithms that outperform empirical risk minimization on one distribution shift usually have limitations on the other distribution shift. The new benchmark may serve as a strong foothold that can be resorted to by future OoD generalization research.

연구 동기 및 목표

• 도메인 일반화 및 불변 위험 최소화와 같은 분야에서 산산이 흩어진 OoD 일반화 연구를 통합하고 체계화하기 위해.
• 기존 데이터셋 곳곳에 널리 퍼져 있는 두 가지 구분되는 분포 이탈 유형을 규명하고 정량화하기 위해.
• 이 두 분포 이탈 유형이 지배하는 새로운 종합적 벤치마크에서 기존 OoD 일반화 알고리즘의 성능을 평가하기 위해.
• 한 분포 이탈 유형에선 잘 작동하지만 다른 유형에선 실패하는 현재 알고리즘의 한계를 드러내기 위해.

제안 방법

• 저자들은 기존 OoD 일반화 데이터셋을 분석하여 두 가지 주요 분포 이탈 유형을 규명하고 특성화한다.
• 다양한 데이터 분포에 걸쳐 이 두 분포 이탈 유형을 체계적으로 통합한 새로운 벤치마크인 OoD-Bench를 설계한다.
• 표준화된 프로토콜을 사용하여 이 벤치마크에서 최첨단 OoD 일반화 알고리즘의 광범위한 평가를 수행한다.
• 두 분포 이탈 유형 간의 알고리즘 성능를 비교하여 일반화 능력에 대한 상충 관계와 한계를 드러낸다.

실험 결과

연구 질문

• RQ1 기존 OoD 일반화 데이터셋과 알고리즘을 뒷받아들이는 두 가지 주요 분포 이탈 유형은 무엇인가?
• RQ2 이 두 분포 이탈 유형을 강조하는 통합 벤치마크에서 기존 OoD 일반화 알고리즘이 어떻게 평가되는가?
• RQ3 한 분포 이탈 유형에서 경험적 위험 최소화보다 뛰어난 성능을 보이는 알고리즘이 다른 유형에 대해서도 동일하게 효과적인가?
• RQ4 현재 OoD 알고리즘은 어떤 정도로 다양한 분포 이탈 유형 간에 일반화되는가?

주요 결과

• 도메인 이탈과 개념 이탈이라는 두 가지로 규명된 분포 이탈 유형은 기존 OoD 데이터셋 전반에 걸쳐 널리 퍼져 있으며 모델의 일반화 행동을 근본적으로 규정한다.
• 한 분포 이탈 유형에선 경험적 위험 최소화를 초월하는 성능을 보이는 기존 OoD 알고리즘들이 다른 유형에선 일반화에 실패하는 경향을 보이며, 이는 견고성 측면에서 심각한 격차를 드러낸다.
• 어느 한 알고리즘도 두 분포 이탈 유형 모두에서 경험적 위험 최소화를 초월하는 일관된 성능을 보이지 않으며, 이는 현재 접근 방식의 근본적인 한계를 드러낸다.
• 제안된 OoD-Bench 벤치마크는 이러한 성능 상충 관계를 효과적으로 드러내며 향후 OoD 일반화 연구의 강력한 기반을 제공한다.