[논문 리뷰] Distributional Generalization: A New Kind of Generalization

Preetum Nakkiran, Yamini Bansal|arXiv (Cornell University)|2020. 09. 17.

Machine Learning and Data Classification참고 문헌 87인용 수 13

한 줄 요약

이 논문은 분포 일반화(distributional generalization)라는 새로운 일반화 형태를 제안한다. 이는 레이블 노이즈가 존재하는 상황에서도 분류기의 테스트 데이터에 대한 출력 분포가 훈련 데이터에 대한 출력 분포와 유사하게 유지됨을 의미한다. 핵심 발견은 보간 모델(예: 신경망, 커널 기반 기계, 결정 트리)이 훈련 및 테스트 세트 간에 레이블 노이즈의 통계적 구조를 유지함을 보여주며, 이는 고전적 일반화 이론이 포착하지 못하는 바이다.

ABSTRACT

We introduce a new notion of generalization -- Distributional Generalization -- which roughly states that outputs of a classifier at train and test time are close *as distributions*, as opposed to close in just their average error. For example, if we mislabel 30% of dogs as cats in the train set of CIFAR-10, then a ResNet trained to interpolation will in fact mislabel roughly 30% of dogs as cats on the *test set* as well, while leaving other classes unaffected. This behavior is not captured by classical generalization, which would only consider the average error and not the distribution of errors over the input domain. Our formal conjectures, which are much more general than this example, characterize the form of distributional generalization that can be expected in terms of problem parameters: model architecture, training procedure, number of samples, and data distribution. We give empirical evidence for these conjectures across a variety of domains in machine learning, including neural networks, kernel machines, and decision trees. Our results thus advance our empirical understanding of interpolating classifiers.

연구 동기 및 목표

• 고전적 일반화 이론이 평균 테스트 오차에만 초점을 맞추고 분류기 출력의 분포를 忽略하는 데서 비롯되는 한계를 해결하기 위해.
• 분류기 출력이 입력 영역 전반에 걸쳐 어떻게 분포하는지를 캡처하는 새로운 일반화 유형인 분포 일반화를 정식화하기 위해.
• 보간 모델(예: 딥 신경망, 커널 기반 기계, 결정 트리)이 훈련 세트에서 테스트 세트로 레이블 노이즈 패턴을 유지함을 경험적으로 입증하기 위해.
• 이러한 행동은 평균 오차 측면에서 최적이 아니더라도 모델이 조건부 분포 p(y|x)를 모방할 수 있는 능력에서 기인할 것이라 추측하기 위해.
• 보간 모델과 비보간 모델을 구분하기 위해, 보간 모델이 레이블을 단순 암기하는 것이 아니라 데이터 분포의 구조적 특성을 상속함을 보여주기 위해.

제안 방법

• 두 가지 핵심 분포 정의: 훈련 입력에 대해 (x, f(x))의 결합 분포인 '훈련 분포' D_tr 과 테스트 입력에 대해 정의된 '테스트 분포' D_te.
• 분포 일반화를 정의: 모든 유한한 테스트 T ∈ T 에 대해 D_tr 및 D_te 하에서 T 의 기댓값이 약간 유사하다는 조건으로 정의.
• 보간 불가분성 추측(식 3) 도입: 보간 모델에 대해 특정 테스트 집합 T 에서 D_tr 과 D_te 가 통계적으로 유사하다고 주장.
• 다양한 모델(예: WideResNet, 커널 기반 기계, 결정 트리)과 데이터셋(CIFAR-10, ImageNet, UCI)을 대상으로 경험적 평가를 수행해 추측을 검증.
• 제어된 레이블 노이즈(예: 고양이의 30%가 'Object'로 잘못 레이블링됨)를 적용해 오차 분포가 훈련에서 테스트로 일반화되는지 테스트.
• 앙상블 기법을 적용하고 독립적인 랜덤 초기화 및 독립적인 훈련 세트 간 결과를 비교해 분포 일반화의 강건성과 일관성을 평가.

실험 결과

연구 질문

• RQ1 보간을 목표로 훈련한 분류기가 훈련 세트에서 유도된 레이블 노이즈의 오차 분포를 테스트 세트로 일반화할 수 있는가?
• RQ2 평균 테스트 오차가 낮더라도, 테스트 데이터에서 분류기의 출력 분포가 훈련 데이터의 출력 분포와 얼마나 유사한가?
• RQ3 평균 오차를 최소화하지 못하는 바에도 보간 모델이 분포 측면에서 일반화하는 이유는 무엇인가?
• RQ4 분포 일반화는 고전적 일반화와 어떻게 다를까? 어떤 설정에서 모델 행동을 더 잘 기술하는가?
• RQ5 보간 모델에서 조건부 분포 p(y|x)와 분류기의 출력 분포 간 일치를 이끌어내는 메커니즘은 무엇인가?

주요 결과

• 고양이에 대해 30%의 레이블 노이즈가 존재하는 이진 CIFAR-10 실험에서, 훈련 오차가 0이 되도록 훈련된 WideResNet은 약 30%의 테스트 고양이를 'Object'로 잘못 분류하여 국소적 오차 분포의 일반화를 보여주었다.
• 훈련 세트에서 (x, f(x))의 결합 분포는 테스트 세트와 거의 구분되지 않으며, 이는 평균 오차를 초월한 강력한 분포 유사성을 시사한다.
• 이러한 행동은 신경망, 커널 기반 기계, 결정 트리 등 다양한 모델에 대해 유지되며, 이는 보간 분류기의 일반적 성질임을 시사한다.
• 기대 오차를 최소화하지는 않지만, 모델의 출력 분포는 진정한 조건부 분포 p(y|x)와 거의 정확히 일치한다.
• 보간 모델은 비보간 모델이 갖지 못하는 데이터 분포의 세밀한 통계적 구조(예: 레이블 노이즈 패턴)를 유지한다.
• 독립적인 랜덤 초기화에 대한 앙상블과 독립적인 훈련 세트에 대한 앙상블 간 결과가 유사하여, 분포 일반화의 강건성과 일관성을 시사한다.