[論文レビュー] A learning problem that is independent of the set theory ZFC axioms

Shai Ben-David, Pavel Hrubeš+3 more|arXiv (Cornell University)|Nov 14, 2017

Machine Learning and Algorithms参考文献 16被引用数 3

ひとこと要約

本稿では、可算測度付き分布の下で実数直線の有限部分集合に対する期待値最大化（EMX）学習の学習可能性が、ツェルメール＝フラーゲル集合論に加え選択公理を含むZFC（Zermelo-Fraenkel set theory with the Axiom of Choice）とは独立であることを示している。主な結果は、このようなクラスがEMX学習可能かどうかは、ZFCで決定できない連続体の濃度に依存することを示しており、したがって、VC次元のような有限特徴の組合せ的パラメータでは、EMX学習可能性を完全に特徴付けることはできないことを示唆している。

ABSTRACT

We consider the following statistical estimation problem: given a family F of real valued functions over some domain X and an i.i.d. sample drawn from an unknown distribution P over X, find h in F such that the expectation of h w.r.t. P is probably approximately equal to the supremum over expectations on members of F. This Expectation Maximization (EMX) problem captures many well studied learning problems; in fact, it is equivalent to Vapnik's general setting of learning. Surprisingly, we show that the EMX learnability, as well as the learning rates of some basic class F, depend on the cardinality of the continuum and is therefore independent of the set theory ZFC axioms (that are widely accepted as a formalization of the notion of a mathematical proof). We focus on the case where the functions in F are Boolean, which generalizes classification problems. We study the interaction between the statistical sample complexity of F and its combinatorial structure. We introduce a new version of sample compression schemes and show that it characterizes EMX learnability for a wide family of classes. However, we show that for the class of finite subsets of the real line, the existence of such compression schemes is independent of set theory. We conclude that the learnability of that class with respect to the family of probability distributions of countable support is independent of the set theory ZFC axioms. We also explore the existence of a "VC-dimension-like" parameter that captures learnability in this setting. Our results imply that that there exist no "finitary" combinatorial parameter that characterizes EMX learnability in a way similar to the VC-dimension based characterization of binary valued classification problems.

研究の動機と目的

• 未知の分布の下で期待値を最大化する関数を見つけるEMX学習可能性が、有限の組合せ的パラメータによって特徴付けられるかどうかを調査すること。
• 標本複雑度と学習可能性が、連続体の濃度を含む集合論的仮定にどのように依存するかを探索すること。
• EMX学習可能性を、VC次元が二値分類の学習可能性を特徴付けるのと同じ方法で特徴付けるような、VC次元に類似したパラメータが存在するかどうかを特定すること。
• EMX学習可能なクラスに対して、単調な圧縮スキームが存在するか否かを確立すること。
• EMX学習可能性が、弱学習可能性（定数誤差）でさえも、異なる集合論的モデルの下で一貫性を失うかどうかを示すこと。

提案手法

• 結合閉じた関数クラスのためのEMX学習可能性を特徴付けるために、『単調な圧縮スキーム』と呼ばれる、標本圧縮スキームの新規な変種を導入すること。
• 単調な圧縮スキームがEMX学習可能性を示し、閉じた条件のもとで、EMX学習可能性がこのようなスキームの存在を示すことを証明すること。
• 集合論における強制法（forcing techniques）を用いて、連続体仮説が成り立つ（$2^{eth_0} = \aleph_1$）モデルと、$2^{eth_0} > \aleph_\omega$ となるモデルの両方のZFCモデルを構成すること。
• 第一のモデルでは、$\mathbb{R}$ の有限部分集合のクラスが定数の標本サイズでEMX学習可能であるのに対し、第二のモデルでは、有限の標本サイズでは十分でないことを示すこと。
• 有限特徴の性質がモデル間で不変であることに着目し、EMX学習可能性を完全に特徴付けるようなそのような性質は存在しないことを示すこと。
• 集合論的濃度と学習可能性の関係を明らかにするための組合せ的道具として、有限上位集合再構成ゲームを分析すること。

実験結果

リサーチクエスチョン

• RQ1 VC次元に類似した有限の組合せ的パラメータによって、EMX学習可能性が特徴付けられるか？
• RQ2 EMX学習のための標本圧縮スキームの存在が、連続体に関する集合論的仮定に依存するか？
• RQ3 実数の有限部分集合のクラスのEMX学習可能性は、ZFCの異なるモデル間で不変か？
• RQ4 弱EMX学習可能性（例：定数誤差 $1/3$）は、有限特徴の性質によって特徴付けられるか？
• RQ5 関数クラスに強い閉じる性質がなくても、EMX学習可能性に集合論的独立性の結果が存在するか？

主な発見

• 実数直線の有限部分集合の特性関数のクラスのEMX学習可能性は、連続体の濃度に依存するため、ZFCとは独立である。
• 連続体仮説が成り立つモデル（$2^{eth_0} = \aleph_1$）では、このクラスは定数の標本数でEMX学習可能である。
• 連続体仮説が成り立たないモデル（$2^{eth_0} > \aleph_\omega$）では、このクラスのEMX学習には有限の標本数では十分でない。
• 単調な圧縮スキームは結合閉じたクラスのEMX学習可能性を特徴付けるが、この特定のクラスではその存在がZFCとは独立である。
• VC次元が二値分類の学習可能性を特徴付けるのと同じ方法で、EMX学習可能性を完全に特徴付けるような有限特徴の組合せ的性質は存在しない。
• 弱学習可能性（定数誤差 $1/3$）に対してもこの結果は成り立ち、学習可能性の根本的性質に集合論的依存性が存在することを示している。