[論文レビュー] Learning convex bodies is hard

Navin Goyal, Luis Rademacher|ArXiv.org|Apr 7, 2009

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 19

ひとこと要約

本稿は、$ℝ^d$ 内の凸体を $\epsilon$-対称差の意味で学習するために必要なランダムサンプルの数に、超多項式の下界を確立している。$2^{\Omega(\sqrt{d/\epsilon})}$ 個のサンプルが必要であることを示している。著者らは、誤り訂正符号と交差単体へのピーク付加を用いて、明示的な凸体の族を構築し、それらを区別できるアルゴリズムがそれより少ないサンプル数では存在しないことを証明した。これにより、一様ランダムサンプルからの凸体学習の本質的な難易度が示された。

ABSTRACT

We show that learning a convex body in $\RR^d$, given random samples from the body, requires $2^{Ω(\sqrt{d/\eps})}$ samples. By learning a convex body we mean finding a set having at most $\eps$ relative symmetric difference with the input body. To prove the lower bound we construct a hard to learn family of convex bodies. Our construction of this family is very simple and based on error correcting codes.

研究の動機と目的

• $ℝ^d$ 内の凸体を、与えられた対称差誤差 $\epsilon$ に対して学習するために必要な最小サンプル数を特定すること。
• 計算制約がなくとも、一様ランダムサンプルからの凸体学習が情報理論的に困難であることを示すこと。
• 誤り訂正符号と交差単体への幾何的変更を用いて、明示的かつ学習が困難な凸体の族を構築すること。
• メンバーーシップオракルへのアクセスがあっても、凸体を学習するには $\sqrt{d}$ に関して指数関数的なサンプル数が必要であることを示し、問題の根本的な難易度を強調すること。

提案手法

• $d$ 次元の交差単体の面に小さなピークを付加することで、凸体の基本族を構築し、各ピークが凸性を保ちつつも、合計体積が検出可能になるようにする。
• 誤り訂正符号を用いて、この体の部分族を選択し、任意の二つの体が体積の定数割合で異なるようにすることで、大きな対称差を保証する。
• これらの体の統計的同定不能性を分析する：ピーク検出の疎らさのため、多項式より小さい数のランダムサンプルでは、二つの体を信頼性高く区別できない。
• 和集合の上限と体積集中を用いた確率的議論を適用し、$q$ 個のサンプルから正しい体を正しく特定する確率が $1/2$ 未満になることを示し、$q \geq 2^{\Omega(\sqrt{d/\epsilon})}$ でなければ成立しないことを示す。
• 任意のアルゴリズムが体を学習できるならば、その体積も推定可能であり、既知の体積推定の下界を用いて主要結果を導出する。
• 体の学習問題を、体上の一様分布間の全変動距離を用いて形式化し、確率的体とランダムサンプルの上での成功確率を定義する。

実験結果

リサーチクエスチョン

• RQ1 $ℝ^d$ 内の凸体を $\epsilon$-対称差の意味で学習するために、一様ランダムサンプルとして必要な最小数は何か？
• RQ2 任意のサブ指数的サンプルサイズのアルゴリズムがそれらを区別できないような、明示的かつ学習が困難な凸体の族を構築できるか？
• RQ3 メンバーーシップオラクルへのアクセスがあっても、凸体学習の情報理論的サンプル複雑度が $\sqrt{d}$ に関して指数的であると示せるか？
• RQ4 誤り訂正符号の使用が、対称差において互いに離れているが、少数のサンプルからは統計的に同定できない凸体の族を構築するのにどのように寄与するか？
• RQ5 半分空間測度ではほとんど区別できないが、対称差では遠く離れているような凸体の構成により、半分空間積分による体積推定の不安定性を示せるか？

主な発見

• 本稿は、$ℝ^d$ 内の凸体を $\epsilon$-対称差の意味で学習するには $2^{\Omega(\sqrt{d/\epsilon})}$ 個のサンプルが必要である下界を確立した。これはほぼタイトであり、関連する設定での最良の上界と一致する。
• 困難な凸体の族は、誤り訂正符号と交差単体へのピーク付加を用いて明示的に構築されており、従来の確率的構成よりもより透明で構成的である。
• ランダムオラクルとメンバーーシップオラクルの両方にアクセスできる状況でも、凸体を学習するには $\sqrt{d}$ に関して指数関数的なサンプル数が必要であり、統計的観点から問題が根本的に難しいことを示している。
• 著者らは、任意の定数 $t>0$ に対して、$ℝ^d$ 内に $1/d^t$-半分空間近傍（つまり、半分空間測度ではほぼ同定不能）であるが、対称差が $1/8$ 以上である凸体が存在することを証明した。これにより、体積に基づく再構成の不安定性が示された。
• この結果は、$\mathrm{poly}(d)$ 個の一様ランダムサンプルから凸体の体積を推定することは不可能であることを示し、Frieze らが提起した問いに答え、Eldan の予想を裏付けた。
• この構成により、$\mathrm{poly}(d)$ 個のサンプルで凸体を学習できるアルゴリズムは存在しないことが示されたが、体が $\mathrm{poly}(d)$ 個の面を持つ多面体であっても同様である。$\mathrm{poly}(d)$ 時間で学習可能かどうかは未解決のまま残されている。