[論文レビュー] Sparsity and Out-of-Distribution Generalization

Scott Aaronson, Lin Lin Lee+1 more|arXiv (Cornell University)|Mar 8, 2026

Machine Learning and Algorithms被引用数 0

ひとこと要約

論文は、疎性仮説と部分空間のジャントが訓練時とテスト時の学習特徴の重なりがある場合にのみOOD一般化を保証するPAC風条件を提供し、学習分布とテスト分布が学習特徴上で重なるときを formalize する。

ABSTRACT

Explaining out-of-distribution generalization has been a central problem in epistemology since Goodman's "grue" puzzle in 1946. Today it's a central problem in machine learning, including AI alignment. Here we propose a principled account of OOD generalization with three main ingredients. First, the world is always presented to experience not as an amorphous mass, but via distinguished features (for example, visual and auditory channels). Second, Occam's Razor favors hypotheses that are "sparse," meaning that they depend on as few features as possible. Third, sparse hypotheses will generalize from a training to a test distribution, provided the two distributions sufficiently overlap on their restrictions to the features that are either actually relevant or hypothesized to be. The two distributions could diverge arbitrarily on other features. We prove a simple theorem that formalizes the above intuitions, generalizing the classic sample complexity bound of Blumer et al. to an OOD context. We then generalize sparse classifiers to subspace juntas, where the ground truth classifier depends solely on a low-dimensional linear subspace of the features.

研究の動機と目的

• OOD一般化を認識論とAI整合性の問題として動機付ける。
• 学習の原理的で基底不変なオッカムの剃刀の概念としてスパース性を提案する。
• 部分空間ジャントをスパース仮説の基底頑健な一般化として導入する。
• 学習分布とテスト分布が学習特徴と一致する場合のOOD転送を定量化するPAC風定理を提供する。
• スパース性/部分空間の概念をVC次元境界および有限境界を持つ半多項式関数クラスへ結びつける。

提案手法

• 世界を識別可能な特徴としてモデル化し、スパース性を最大で k 個の特徴への依存として定義する（k-スパース仮説）。
• 特徴サブセットの併合を取る際のk-スパース仮説クラスとそのVC次元境界を定義・分析する。
• 学習データとテストデータが学習された特徴上で一致する場合にOOD転送を示すPAC風定理（定理3-4）を証明する。
• 依存を低次元サブスペース経由の線形写像Wで行うサブスペースジャントへスパース性を一般化し、類似の転送保証（定理5-6）を導出する。
• 半代数関数クラス下での有限VC境界を議論し、サブスペースジャントに対する素朴なVC境界の反例を提供する。

実験結果

リサーチクエスチョン

• RQ1 訓練とテスト分布が無関係な特徴上で差がある場合、スパース性は信頼できるOOD一般化を可能にする条件は何か？
• RQ2 基底頑健なスパース性（サブスペースジャント）は、現実世界の基底変換表現にどのように適合するようスパース仮説を拡張するか？
• RQ3 k-スパース仮説およびk-サブスペースジャントにおけるOOD設定でのPAC風サンプル複雑さとVC次元への影響は何か？
• RQ4 関連特徴/サブスペース上の分布重なりは、D′への一般化を保証する上でどのような役割を果たすか？

主な発見

• m = Õ((d + k log n)/ε) サンプル後、トレーニングデータと整合する任意の k-スパース仮説は D′ での誤差が少なくとも ε 以下になるというPAC風の上界（定理3-4）。
• サブスペースジャントを用いた基底頑健な一般化結果：f と h が共有サブスペース A にのみ依存する場合、A への射影分布の一致が転送を十分とする（定理5-6）。
• VC次元の考察：スパース仮説の併合のVC次元の系統的境界と、半代数クラスの有限VC境界の議論。
• サブスペースジャントのための無限VC次元を招く可能性があるG/Hパラメータ化の反例を特定し、素朴な境界の限界を浮き彫りにする。
• 古典的なOOD研究との接続：相違ベースの境界に依存する代わりに、特徴/サブスペースの重なりに基づく十分条件を提供する。