[論文レビュー] 2 Notes on Classes with Vapnik-Chervonenkis Dimension 1

Shai Ben-David|arXiv (Cornell University)|Jul 19, 2015

Machine Learning and Algorithms参考文献 2被引用数 7

ひとこと要約

この論文は、Vapnik-Chervonenkis (VC) 次元が 1 である概念クラスが単純な木構造を持つことを確立し、ラベル情報の完全な圧縮を単一のインスタンスに可能にすることを示している。さらに、特定の集合論的仮定の下で非可測性の問題が生じるため、このようなクラスでは経験的リスク最小化 (ERM) が根本的に失敗することを明らかにした。これは、VC次元が 1 であっても、標準的な VC理論が ERM の成功を保証するという前提を揺るがすものである。

ABSTRACT

The Vapnik-Chervonenkis dimension is a combinatorial parameter that reflects the "complexity" of a set of sets (a.k.a. concept classes). It has been introduced by Vapnik and Chervonenkis in their seminal 1971 paper and has since found many applications, most notably in machine learning theory and in computational geometry. Arguably the most influential consequence of the VC analysis is the fundamental theorem of statistical machine learning, stating that a concept class is learnable (in some precise sense) if and only if its VC-dimension is finite. Furthermore, for such classes a most simple learning rule - empirical risk minimization (ERM) - is guaranteed to succeed. The simplest non-trivial structures, in terms of the VC-dimension, are the classes (i.e., sets of subsets) for which that dimension is 1. In this note we show a couple of curious results concerning such classes. The first result shows that such classes share a very simple structure, and, as a corollary, the labeling information contained in any sample labeled by such a class can be compressed into a single instance. The second result shows that due to some subtle measurability issues, in spite of the above mentioned fundamental theorem, there are classes of dimension 1 for which an ERM learning rule fails miserably.

研究の動機と目的

• VC次元 1 の概念クラスの構造的性質を同定すること。
• このようなクラスにおけるラベル情報が単一のインスタンスに圧縮可能であることを示すこと。
• 有限な VC次元であっても、経験的リスク最小化 (ERM) が失敗する条件を特定すること。
• 可測性の役割が統計学習の基本定理の妥当性に与える影響を明らかにすること。

提案手法

• ドメイン上に木構造の順序を導入し、クラスに属するすべての概念がこの順序における初期部分集合となるようにする。
• ラベルの正規化と VC次元の保持を目的に、概念クラスの f-表現を定義する。
• 仮説間のラベル整合性に基づいて部分順序 ≤fH を構築し、木構造を誘導する。
• 連続体仮説を用いて、初期部分集合が可算であるような [0,1] 上の良い順序を構築する。
• サンプル内の正のラベルと整合する最大の r に対して h_r を選ぶ ERM ルールを定義する。
• Fubini の定理の不成立を用いて、Lebesgue 測度の下で {(x,y): x ≺ y} の非可測性を示す。

実験結果

リサーチクエスチョン

• RQ1 VC次元 1 の概念クラスを特徴付ける構造的性質は何か？
• RQ2 VC次元 1 のクラスにおけるラベル情報は、単一のインスタンスに圧縮可能か？
• RQ3 なぜ、統計学習の基本定理が成立するにもかかわらず、一部の VC次元 1 クラスでは ERM が失敗するのか？
• RQ4 可測性の問題が、標準的な VC理論における ERM の保証の証明をどのように崩壊させるのか？

主な発見

• VC次元 1 のすべての概念クラスは、その順序においてすべての概念が初期部分集合となるような木順序を持つ。
• VC次元 1 のクラスからの任意のサンプルにおけるラベル情報は、クラスの単純な構造のおかげで、単一のインスタンスに圧縮可能である。
• VC次元 1 であっても、一様分布の下で ERM が根本的に失敗するクラスが存在する。
• その失敗の原因は、Lebesgue 測度の下で {(x,y): x ≺ y} の非可測性に起因し、標準的な VC 証明における二重サンプルの議論を無効にしている。
• この例では、初期部分集合が可算であるような [0,1] の良い順序を構築するために連続体仮説を用いており、クラスに属するすべての概念が Lebesgue 可測であることを保証する。
• 構築された ERM ルールでは、一様分布の下で一般化誤差はほとんど確実に 1 であるが、訓練誤差は 0 である。