[論文レビュー] Bounds for Rademacher Processes via Chaining

Johannes Lederer|arXiv (Cornell University)|Oct 27, 2010

Bayesian Methods and Mixture Models参考文献 9被引用数 3

ひとこと要約

この論文は、チェイニング技術を用いて、高次元設定におけるラデマッハ過程の鋭い上界を導出する。具体的には、古典的エントロピー評価とメジャーイング測度を用いる。共変数間に強い相関がある場合、上界は次元 𝑙 に依存しなくなり、𝑙 ≫ 𝑛 である高次元漸近的状況において性能が著しく向上する。

ABSTRACT

We study Rademacher processes where the coefficients are functions evaluated at fixed, but arbitrary covariables. Specifically, we assume the function class under consideration to be parametrized by the standard cocube in l dimensions and we are mainly interested in the high-dimensional, asymptotic situation, that is, l as well the number of Rademacher variables n go to infinity with l much larger than n. We refine and apply classical entropy bounds and Majorizing Measures, both going back to the well known idea of chaining. That way, we derive general upper bounds for Rademacher processes. In the linear case and under high correlations, we further improve on these bounds. In particular, we give bounds independent of l for highly correlated covariables.

研究の動機と目的

• 𝑙 ≫ 𝑛 である高次元的漸近的状況におけるラデマッハ過程のタイトな上界を導出すること。
• 関数族を𝑙次元標準コキューブでパrameter化する場合、チェイニングを用いて古典的エントロピー評価とメジャーイング測度を精緻化すること。
• 共変数間の強い相関がラデマッハ複雑度の成長に与える影響を調査し、次元に依存しない上界が達成可能かどうかを検討すること。
• 強い相関下で、メジャーイング測度が古典的エントロピー手法よりも著しく優れた上界をもたらすことを示すこと。

提案手法

• ラデマッハ過程の上界を、近似集合の系列上の増分の和に分解することで、チェイニングを適用する。
• 被覆数の積分形と対数エントロピー積分を用いて、古典的エントロピー評価を精緻化する。
• メジャーイング測度は、擬距離 d(𝜃,𝜃′) = ‖(𝜙𝜃(𝑥𝑖)−𝜙𝜃′(𝑥𝑖))‖₂ から導かれる距離空間上のガウス過程を構築することで用いる。
• 収縮性の仮定：d(𝜃,𝜃′) ≤ √𝑛𝐴(𝑥)‖𝜃−𝜃′‖₂ を仮定し、期待上界を √𝑛 log(𝑙+1)𝐴(𝑥)𝑀 で抑えられる。
• 線形の場合、log(𝑛+1) 要素を除去でき、K√𝑛 log(𝑙+1)𝐴(𝑥)𝑀 というより良い上界が得られる。
• 強い相関下では、直交行列を用いた再パラメータライゼーションと、列ベクトルの対称的凸包を用い、楕円体被覆と距離エントロピーの統合により、次元に依存しない上界が得られる。

実験結果

リサーチクエスチョン

• RQ1 古典的エントロピー評価は、高次元設定におけるラデマッハ過程の制御をよりタイトに精緻化できるか？
• RQ2 共変数間に強い相関がある場合、高次元的漸近的状況におけるラデマッハ複雑度の成長にどのような影響を与えるか？
• RQ3 ℓ¹正則化関数族の文脈において、メジャーイング測度は古典的エントロピー評価を上回ることができるか？
• RQ4 どのような条件下で、ラデマッハ過程の上界を次元 𝑙 に依存させない形にできるか？
• RQ5 設計行列の列が高相関を示す線形モデルにおいて、次元に依存しない上界を達成できるか？

主な発見

• 収縮性を有する一般関数族に対して、上界は 𝔼[sup|𝑋𝜃|] ≤ 𝔼|𝑋𝜃₀| + K√𝑛 log(𝑙+1) log(𝑛+1)𝐴(𝑥)𝑀 であり、log(𝑛+1) 要素が存在する。
• 線形の場合、log(𝑛+1) 要素を除去でき、改善された上界 𝔼[sup|𝑋𝜃|] ≤ K√𝑛 log(𝑙+1)𝐴(𝑥)𝑀 が得られる。
• 強い相関下では、上界は 𝑙 に依存しなくなり、主な結果として 𝔼[sup|𝑋𝜃|] ≤ K𝛾₁(S,d₂)（有界直径を持つ集合 S に対して）となる。
• 設計行列の列が小さな楕円体にまとめて包まれる場合、メジャーイング測度の使用により次元に依存しない上界が得られる。
• 証明は、楕円体内の最大の 𝑀-分離集合を構築し、ホフディングの不等式と距離エントロピー統合を適用することに依存する。
• 最終的な上界は、楕円体の距離エントロピーと収縮性にのみ依存し、環境次元 𝑙 には依存しない。