[論文レビュー] Bounding the expectation of the supremum of an empirical process over a (weak) vc-major class

Yannick Baraud|arXiv (Cornell University)|Nov 20, 2014

Machine Learning and Algorithms参考文献 5被引用数 17

ひとこと要約

本稿は、(弱)VCマジョリティまたはVCサブグラフクラスの関数に対する経験過程の上界の期待値について、明示的な定数とより良い収束速度を備えた非漸近的上界を提供する。この方法は、エントロピー関数の凹型包と呼ばれるものを利用し、分散が小さい場合に特に有効で、特にグローバルなエントロピー境界が過剰に保守的になる場合に、より緊密な制御を可能にする。

ABSTRACT

Given a bounded class of functions G and independent random variables X1, . . . , Xn, we provide an upper bound for the expectation of the supremum of the empirical process over elements of G having a small variance. Our bound applies in the cases where G is a VC-subgraph or a VC-major class and it is of smaller order than those one could get by using a universal entropy bound over the whole class G . It also involves explicit constants and does not require the knowledge of the entropy of G

研究の動機と目的

• VCマジョリティまたはVCサブグラフクラスに対する経験過程の上界の期待値のよりタイトな上界を導出すること。
• クラスの局所的な分散またはL2ノルムが小さい場合に、グローバルなエントロピー境界が過剰に保守的になるのを回避する。
• グローバルなエントロピー計算に依存しない、明示的な数値定数を伴う非漸近的境界を提供すること。
• 与えられた関数（例えばL2球内）に近い関数のクラスに制限された場合、グローバルなエントロピー境界が局所的な複雑性を捉えられないケースに対処すること。

提案手法

• エントロピー関数の凹型包 $\overline{H}(u)$ を用いて、異なるスケールにおけるクラスのエントロピーを制御する。
• シンメトライゼーションとチェインジングの技法を適用し、ラデマッハ平均を介して経験過程の期待上界を評価する。
• 鍵となる不等式は、$[0,1]$ 上での $\overline{H}$ の積分を用いて $\mathbb{E}[\sup_{f \in \mathcal{F}} |\sum_{i=1}^n \varepsilon_i f(X_i)|]$ を評価する。
• VCマジョリティ性を活用し、レベル集合 $\{f > u\}$ のクラスがVCであることを保証することでエントロピー制御を可能にする。
• 関数を中央化し、分散が制御された有界なクラスに帰着させる変換を用いる。
• 証明は、インジケータ関数の逐次的閉包の性質とVCクラスの性質に基づき、次元の上限を維持する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなエントロピー境界よりも、VCマジョリティクラスに対する経験過程の上界の期待値をタイトに評価することは可能か？
• RQ2 局所的な分散またはL2ノルムの制御を活用することで、経験過程の境界における収束速度をどのように改善できるか？
• RQ3 与えられた関数（例えば定数関数や急激に減少する関数）の周辺におけるエントロピー構造は、局所クラスの複雑性を決定づける役割を果たすか？
• RQ4 グローバルな関数クラスのエントロピーを計算せずに、明示的な定数を伴う非漸近的境界を導出できるか？

主な発見

• 期待値 $\mathbb{E}[Z(\mathcal{F})]$ の境界は $\sqrt{n} \cdot \overline{H}(\sigma \vee a - \sigma \log(\sigma \vee a))$ のオーダーであり、$\sigma$ が小さいときにはグローバルなエントロピー境界よりも厳密に小さい。
• $\mathcal{F} = \mathcal{G} \cap \mathcal{B}(g_0, r)$ で $\mathcal{G}$ がVCサブグラフまたはVCマジョリティクラスの場合、$g_0$ が定数であると、局所エントロピーはグローバルエントロピーに比べて著しく小さくなるため、境界が顕著に改善される。
• 本手法により、$\sqrt{n\sigma} + \sigma^{-1}$ のオーダーの境界が得られるが、特に $\sigma \ll 1$ の場合にグローバル境界よりも定数が小さくなる。
• 境界は非漸近的であり、同一分布でない独立な確率変数に対しても適用可能である。
• 証明により、$\mathcal{F}$ が次元 $d$ のVCマジョリティであれば、$\mathcal{G} = \{g_f = \frac{1}{2}(f - \mathbb{E}[f(X_1)])\}$ は次元が $d$ 以下である弱VCマジョリティクラスであり、複雑性構造が保持される。
• 結果として、GinéとKoltchinski（2006）の例3.8におけるグローバル境界を改善しており、$g_0 = 0$ の場合、期待値が $C(\sqrt{n\sigma} + \sigma^{-1})$ よりも小さいことが知られていたが、本研究ではその定数をさらに小さくした。