[論文レビュー] The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning

Micah Goldblum, Marc Finzi+2 more|arXiv (Cornell University)|Apr 11, 2023

Computability, Logic, AI Algorithms被引用数 14

ひとこと要約

本論文はコルモゴロフ複雑性に基づく No Free Lunch 定理を導出し、実世界のデータとニューラルネットワークが低複雑性の解を好むことを示し、ドメイン横断の帰納的バイアスと PAC-Bayes の境界による統一学習を唱える。

ABSTRACT

No free lunch theorems for supervised learning state that no learner can solve all problems or that all learners achieve exactly the same accuracy on average over a uniform distribution on learning problems. Accordingly, these theorems are often referenced in support of the notion that individual problems require specially tailored inductive biases. While virtually all uniformly sampled datasets have high complexity, real-world problems disproportionately generate low-complexity data, and we argue that neural network models share this same preference, formalized using Kolmogorov complexity. Notably, we show that architectures designed for a particular domain, such as computer vision, can compress datasets on a variety of seemingly unrelated domains. Our experiments show that pre-trained and even randomly initialized language models prefer to generate low-complexity sequences. Whereas no free lunch theorems seemingly indicate that individual problems require specialized learners, we explain how tasks that often require human intervention such as picking an appropriately sized model when labeled data is scarce or plentiful can be automated into a single learning algorithm. These observations justify the trend in deep learning of unifying seemingly disparate problems with an increasingly small set of machine learning models.

研究の動機と目的

• 機械学習における帰納性の動機づけを行い、それを現実世界のデータの構造と NFL 定理における一様ノイズ仮定と結びつける。
• 現実の学習が実際に可能である理由を説明するために、コルモゴロフ複雑性に基づくNFL定理を導出する。
• 実データセットとニューラルネットワークがドメインを超えて低複雑性のバイアスを示すことを実証する。
• ドメイン横断の PAC-Bayes 境界が一般化を説明し、統一的な学習アプローチを支持する方法を示す。

提案手法

• コルモゴロフ複雑性による不可圧縮性を用いて新しい NFL 定理を導出する。
• データセットの K(x) および K(Y|X) を圧縮（例: bzip2）で上限化する。
• K(Y|X) を負の対数尤度とモデルサイズの項で表現し、圧縮が学習可能性を意味することを示す。
• 表形式データと画像ドメインを横断してラベルを圧縮することによってニューラルネットワークにおける単純さバイアスを示す。
• GPT-3 のために、生成系列の複雑性を測る簡易なコルモゴロフベースの言語を適用する。
• 表データを画像へと再構成し、CNN を用いたドメイン横断の一般化境界を検証する。
• データセットの圧縮性と周辺尤度に結びつく PAC-Bayes 風の一般化境界を提示する。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータセットは、NFL定理にもかかわらず実際の機械学習の一般化を説明する圧縮性を示すのか。
• RQ2 ニューラルネットワークと大規模言語モデルは、ドメインを超えて低コルモゴロフ複雑性の解を好むのか。
• RQ3 ドメインを超えたモデル使用（例: tabular データに対する CNN）において、クロスドメイン PAC-Bayes 境界は一般化を説明できるのか。

主な発見

• 実データセットは高度に圧縮可能であり、均一なランダムデータは圧縮不能であるのと対照的である。
• ニューラルネットワークはラベリング関数を圧縮し、モデル尤度に関連する非自明な K(Y|X) の境界を意味する。
• 圧縮可能なデータ上で学習が可能で、不可圧縮なデータ上では不可能であるというコルモゴロフ型 NFL 定理が存在する。
• GPT-3 以降の大規模モデルは、単純な系列（低コルモゴロフ複雑性）の確率を指数的に高く割り当てる。
• CNNs trained on artificially encoded tabular data generalize well due to a strong simplicity bias, as shown by PAC-Bayes compression bounds.
• A single model family can perform well across diverse problems, aligning with a low-complexity inductive bias and reducing need for domain-specific models.