[논문 리뷰] For self-supervised learning, Rationality implies generalization, provably

Yamini Bansal, Gal Kaplun외 1명|arXiv (Cornell University)|2020. 10. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 7

한 줄 요약

이 논문은 단순 선형 분류기를 사용하는 자기지도 학습(SSL) 방법이 일반화 성능이 잘 되는 이유를 설명한다. 분류기의 복잡도가 훈련 샘플 수에 비해 작을 경우 일반화 갭이 사라지기 때문이다. 저자들은 일반화를 잔차, 이성, 기억화 갭으로 분해하는 RRM 경계를 제안한다. 이 경계는 이성 갭과 잔차 갭이 작을수록 일반화 오차도 작아지며, 표현의 과도한 파rameter화 여부와는 무관하다는 것을 보여준다.

ABSTRACT

We prove a new upper bound on the generalization gap of classifiers that are obtained by first using self-supervision to learn a representation $r$ of the training data, and then fitting a simple (e.g., linear) classifier $g$ to the labels. Specifically, we show that (under the assumptions described below) the generalization gap of such classifiers tends to zero if $\mathsf{C}(g) \ll n$, where $\mathsf{C}(g)$ is an appropriately-defined measure of the simple classifier $g$'s complexity, and $n$ is the number of training samples. We stress that our bound is independent of the complexity of the representation $r$. We do not make any structural or conditional-independence assumptions on the representation-learning task, which can use the same training dataset that is later used for classification. Rather, we assume that the training procedure satisfies certain natural noise-robustness (adding small amount of label noise causes small degradation in performance) and rationality (getting the wrong label is not better than getting no label at all) conditions that widely hold across many standard architectures. We show that our bound is non-vacuous for many popular representation-learning based classifiers on CIFAR-10 and ImageNet, including SimCLR, AMDIM and MoCo.

연구 동기 및 목표

• 자기지도 학습(SSL)에서 단순 분류기를 사용함에도 불구하고 과도하게 파arameter화된 표현을 가진 모델이 왜 잘 일반화되는지 설명하는 것.
• SSL에서 일반화를 지배하는 핵심 요소인 잔차, 이성, 기억화를 규명하는 것.
• 표현 복잡도에 관계없이 일반화 갭에 대한 비자명한 상한을 증명하는 것.
• 실제로 표준 SSS(자기지도 + 단순) 모델들에서 이성 갭이 일반적으로 작거나 0임을 보여주어 SSS 모델의 일반화를 뒷받침하는 것.
• SSL 파ip라인에서 일반화 오차를 분해하고 정량화하는 이론적 프레임워크(RRM 경계)를 제공하는 것.

제안 방법

• 일반화 갭을 세 가지 성분으로 분해하는 RRM 경계를 제안: 잔차 갭, 이성 갭, 기억화 갭.
• 잔차 갭을 정의: 작은 비율 η의 레이블이 무작위 레이블로 훼손되었을 때 훈련 정확도의 감소.
• 이성 갭을 정의: 잘못된 레이블을 가진 노이즈 훈련 샘플과 레이블이 없는 테스트 샘플 간의 성능 차이.
• 기억화 갭을 정의: 전체 훈련 세트와 레이블 훼손 시에만 노이즈 샘플로 구성된 세트 간의 정확도 차이.
• 약한 가정 하에 일반화 갭이 이 세 갭의 합으로 상한이 있음을 증명.
• 다양한 SSS 모델들(SimCLR, AMDIM, BigBiGAN 등)에 대해 이성 갭과 잔차 갭이 작음을 실험적으로 보여주며, 비자명한 일반화 경계를 도출.

실험 결과

연구 질문

• RQ1 자기지도 학습 모델에서 단순 분류기를 사용함에도 불구하고 과도하게 파arameter화된 표현을 가졌음에도 불구하고 일반화 성능이 잘 되는 이유는 무엇인가?
• RQ2 표현 복잡도에 관계없이 SSS 학습에서 일반화 갭을 공식적으로 상한으로 제시할 수 있는가?
• RQ3 잔차와 이성은 SSL에서 일반화 성능을 결정하는 데 어떤 역할을 하는가?
• RQ4 표준 SSS 모델들(SimCLR, AMDIM 등)에서 이성 갭이 실생활에서 작거나 0인가?
• RQ5 비합리적인 모델에서 성능이 '테이블 위에 남아있는' 것을 보여주는, 증명 가능하게 일반화되는 추론 절차를 구성할 수 있는가?

주요 결과

• 분류기의 복잡도 𝒞(g)가 훈련 샘플 수 n에 비해 훨씬 작을 경우 SSS 모델의 일반화 갭은 0에 수렴한다.
• RRM 경계는 일반화 갭을 잔차, 이성, 기억화 갭으로 분해하며, 이 중 기억화 갭이 일반적으로 지배적이다.
• CIFAR-10과 ImageNet에서의 실험적 평가 결과, RRM 경계는 비자명하며 실제 일반화 갭과 가깝게 나타난다.
• SimCLR, AMDIM, BigBiGAN의 경우 이성 갭이 작거나 0이어서 강력한 일반화 성능을 지닌다는 데 뒷받침된다.
• 논문은 '테이블 위의 성능' 정리를 증명한다: 비합리적인 모델은 계산적으로 비용이 많이 들지만 이론적으로 타당한 추론 절차를 통해 더 나은 성능을 가진 모델로 변환될 수 있다.
• 이 경계는 표현 복잡도에 독립적이므로, SSS 학습에서 일반화가 표현에 의해 결정되지 않고 분류기의 단순성과 잔차성에 의해 결정됨을 보여준다.