[논문 리뷰] The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning

Micah Goldblum, Marc Finzi외 2명|arXiv (Cornell University)|2023. 04. 11.

Computability, Logic, AI Algorithms인용 수 14

한 줄 요약

이 논문은 Kolmogorov-복잡도 기반의 NFL 정리를 도출하고, 현실 세계의 데이터와 신경망이 저복잡도 해를 선호함을 보여주며, 도메인 간의 유도 편향과 PAC-Bayes 경계치를 통한 통합 학습을 주장한다.

ABSTRACT

No free lunch theorems for supervised learning state that no learner can solve all problems or that all learners achieve exactly the same accuracy on average over a uniform distribution on learning problems. Accordingly, these theorems are often referenced in support of the notion that individual problems require specially tailored inductive biases. While virtually all uniformly sampled datasets have high complexity, real-world problems disproportionately generate low-complexity data, and we argue that neural network models share this same preference, formalized using Kolmogorov complexity. Notably, we show that architectures designed for a particular domain, such as computer vision, can compress datasets on a variety of seemingly unrelated domains. Our experiments show that pre-trained and even randomly initialized language models prefer to generate low-complexity sequences. Whereas no free lunch theorems seemingly indicate that individual problems require specialized learners, we explain how tasks that often require human intervention such as picking an appropriately sized model when labeled data is scarce or plentiful can be automated into a single learning algorithm. These observations justify the trend in deep learning of unifying seemingly disparate problems with an increasingly small set of machine learning models.

연구 동기 및 목표

• ML에서 귀납의 필요성을 고무하고 이를 NFL 이론의 균일한 소음 가정과 현실 세계의 데이터 구조 간의 연결고리로 제시한다.
• 학습이 실무적으로 가능하다는 것을 설명하기 위해 Kolmogorov-복잡도 기반의 NFL 정리를 도출한다.
• 현실 데이터셋과 신경망이 도메인에 걸쳐 저복잡도 편향을 보임을 입증한다.
• 교차 도메인 PAC-Bayes 경계가 일반화를 설명하고 통합 학습 접근법을 뒷받침할 수 있음을 보인다.]
• method:[
• Kolmogorov-복잡도를 통한 incompressibility를 이용한 새로운 NFL 정리를 도출한다.
• 데이터 세트의 K(x)와 K(Y|X)를 압축(예: bzip2)으로 상한을 설정한다.
• K(Y|X)를 음의 로그 우도와 모델 크기의 관점에서 표현하여 압축이 학습 가능성을 시사하도록 한다.
• 표(tabular) 및 이미지 도메인에서 레이블을 압축해 신경망의 단순성 편향을 보여준다.
• 생성된 시퀀스의 복잡도를 측정하기 위한 Kolmogorov 기반의 간단한 언어를 GPT-3에 적용한다.
• 도표 데이터를 이미지로 재구성하여 CNN으로 교차 도메인 일반화 경계를 시험한다.
• 데이터셋 압축성 및 주변 우도와 연계된 PAC-Bayes 스타일의 일반화 경계를 제시한다.

제안 방법

• Kolmogorov-복잡도 기반 incompressibility를 이용한 새로운 NFL 정리 도출
• 데이터셋의 K(x) 및 K(Y|X)의 상한을 압축으로 계산(예: bzip2)
• 음의 로그 우도와 모델 크기의 관점에서 K(Y|X)를 표현하여 압축이 학습 가능성을 시사함을 보임
• 테이블 및 이미지 도메인에서 레이블 압축을 통해 신경망의 단순성 편향을 입증
• GPT-3를 위한 생성 시퀀스의 Kolmogorov 기반 간단한 언어로 복잡도 측정
• 도표 데이터를 이미지로 바꿔 CNN으로 교차 도메인 일반화 경계 실험
• 데이터셋 압축성과 주변 우도에 연계된 PAC-Bayes 스타일 일반화 경계 제시

실험 결과

연구 질문

• RQ1 현실 데이터셋이 NFL 이론에도 불구하고 성공적인 ML 일반화를 설명하는 압축 가능성을 보여주는가?
• RQ2 신경망과 대형 언어 모델이 도메인에 걸쳐 낮은 Kolmogorov-복잡도 해를 선호하는가?
• RQ3 모델이 원래 도메인 밖에서 사용될 때(예: 표 형식 데이터에 CNN을 적용) 교차 도메인 PAC-Bayes 경계가 일반화를 설명할 수 있는가?

주요 결과

• 현실 데이터셋은 매우 잘 압축되며, 균등하게 무작위인 데이터와는 대조적으로 압축 가능성이 높다.
• 신경망이 표기 함수(K(Y|X))를 압축하여 모델 우도와 연결된 비평형 K(Y|X) 상한을 시사한다.
• Kolmogorov 방식의 NFL 정리가 존재하여, 압축 가능한 데이터에서는 학습이 가능하고 압축 불가능한 데이터에서는 불가능하다는 것을 보인다.
• GPT-3 및 더 큰 모델은 더 단순한 시퀀스(낮은 Kolmogorov 복잡도)에 기하급수적으로 높은 확률을 부여한다.
• PAC-Bayes 압축 경계로 보여진 강한 단순성 편향으로 인해 인위적으로 인코딩된 표 데이터에 대한 CNN 학습이 잘 일반화된다.
• 단일 모델 계열이 다양한 문제에서 잘 작동할 수 있으며, 저복잡도 유도 편향을 따라 도메인 특화 모델의 필요성을 줄인다.