[論文レビュー] Bounding the Fat Shattering Dimension of a Composition Function Class Built Using a Continuous Logic Connective

Hubert Haoyang Duan|arXiv (Cornell University)|May 23, 2011

Machine Learning and Algorithms参考文献 16被引用数 7

ひとこと要約

この論文は、連続論理結合子（すなわち、一様連続関数 $u: [0,1]^k \to [0,1]$）を用いて $k$ 個の基本関数クラスに適用することによって得られる合成関数クラスの、スケール $\epsilon$ におけるFat Shattering次元について、定量的な上限を確立する。Mendelson-VershyninおよびTalagrandの結果を用いて、合成クラスのFat Shattering次元が、スケール $\delta(\epsilon,k)$ における個々のクラスのFat Shattering次元の和によって、絶対定数を除いて上界で抑えられることを証明し、PAC枠組みにおける複雑な関数クラスの学習可能性を分析するための構成的手段を提供する。

ABSTRACT

We begin this report by describing the Probably Approximately Correct (PAC) model for learning a concept class, consisting of subsets of a domain, and a function class, consisting of functions from the domain to the unit interval. Two combinatorial parameters, the Vapnik-Chervonenkis (VC) dimension and its generalization, the Fat Shattering dimension of scale e, are explained and a few examples of their calculations are given with proofs. We then explain Sauer's Lemma, which involves the VC dimension and is used to prove the equivalence of a concept class being distribution-free PAC learnable and it having finite VC dimension. As the main new result of our research, we explore the construction of a new function class, obtained by forming compositions with a continuous logic connective, a uniformly continuous function from the unit hypercube to the unit interval, from a collection of function classes. Vidyasagar had proved that such a composition function class has finite Fat Shattering dimension of all scales if the classes in the original collection do; however, no estimates of the dimension were known. Using results by Mendelson-Vershynin and Talagrand, we bound the Fat Shattering dimension of scale e of this new function class in terms of the Fat Shattering dimensions of the collection's classes. We conclude this report by providing a few open questions and future research topics involving the PAC learning model.

研究の動機と目的

• PAC学習可能性の特徴付けを概念クラスから関数クラスへ拡張するために、Fat Shattering次元を用いた組合せ的複雑性の分析を行う。
• 連続論理的合成によって得られる関数クラスのFat Shattering次元に対する定量的上限の欠如に取り組む。
• 合成関数クラスのFat Shattering次元を、その構成要素クラスの次元の観点から、構成的見積もりを提供する。
• 統計的学習理論における関数クラスの抽象的学習可能性基準と、具体的かつ計算可能な複雑性測度とのギャップを埋める。

提案手法

• 関数 $u: [0,1]^k \to [0,1]$ を用いて、$k$ 個の基本クラス $\mathcal{F}_i$ からの関数を合成することで、新たな関数クラス $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$ を構築する。
• Mendelson-Vershyninのメトリックエントロピーおよび被覆数に関する結果を応用し、合成関数クラスの複雑性を制御する。
• TalagrandによるGlivenko-Cantelliクラスおよびシャッタリングの特徴付けを用いて、関数クラスのメトリックエントロピーとFat Shattering次元を関連付ける。
• スケール $\epsilon$ における $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$ のFat Shattering次元について、精密化されたスケール $\delta(\epsilon,k)$ における $\mathcal{F}_i$ のFat Shattering次元の関数としての上限を導出する。
• 調整されたスケール $\delta(\epsilon,k)$ における個々のFat Shattering次元の和に比例して、上限が線形にスケーリングされることを確立する。これは絶対定数を除いて成り立つ。

実験結果

リサーチクエスチョン

• RQ1 連続論理結合子を用いて合成された関数クラスのFat Shattering次元は、その構成要素クラスのFat Shattering次元とどのように関係するか？
• RQ2 合成クラスのFat Shattering次元に対して、明示的な上界を、構成要素クラスの次元の関数として導出可能か？
• RQ3 上限が関数の数 $k$ およびスケール $\epsilon$ にどのように依存するかを定量的に評価可能か？
• RQ4 連続結合子による合成は、分布に依存しないPAC設定における元の関数クラスの学習可能性特性を保つことができるか？

主な発見

• 関数クラス $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$ のスケール $\epsilon$ におけるFat Shattering次元は、スケール $\delta(\epsilon,k)$ における $\mathcal{F}_1, \ldots, \mathcal{F}_k$ のFat Shattering次元の和の定数倍によって上界で抑えられる。
• スケール $\delta(\epsilon,k)$ は $\epsilon$ と $k$ のみに依存し、結合子 $u$ のモジュラス連続性から導出される。
• 上限は、Mendelson-Vershyninのメトリックエントロピー推定と、TalagrandによるGlivenko-Cantelliクラスに関する構造的結果を用いて確立された。
• この結果は、単純な関数クラスを連続論理演算で組み合わせて構築される複雑な関数クラスの学習可能性を分析するための構成的手段を提供する。
• この上限は、$\epsilon$ および $k$ における漸近的依存関係を保ち、$u$ の具体的な形に依存しないという点でタイトである。