[論文レビュー] Nearly optimal classification for semimetrics

Lee-Ad Gottlieb, Aryeh Kontorovich|arXiv (Cornell University)|Feb 22, 2015

Machine Learning and Algorithms参考文献 28被引用数 3

ひとこと要約

この論文は、三角不等式を満たさない非距離空間（非距離空間）における分類のための主要な測度として密度次元を導入し、それが標本複雑性とアルゴリズムの効率を支配することを示している。近似的に最適な標本圧縮スキームと高速レートの一般化境界を提示しており、距離空間とは異なり、非距離空間における学習は根本的に異なる解析を要することを示している。距離空間では二重化次元が支配的であるのに対し、非距離空間では密度次元がその役割を果たす。

ABSTRACT

We initiate the rigorous study of classification in semimetric spaces, which are point sets with a distance function that is non-negative and symmetric, but need not satisfy the triangle inequality. For metric spaces, the doubling dimension essentially characterizes both the runtime and sample complexity of classification algorithms --- yet we show that this is not the case for semimetrics. Instead, we define the {\em density dimension} and discover that it plays a central role in the statistical and algorithmic feasibility of learning in semimetric spaces. We present nearly optimal sample compression algorithms and use these to obtain generalization guarantees, including fast rates. The latter hold for general sample compression schemes and may be of independent interest.

研究の動機と目的

• 三角不等式を満たさない非距離空間における分類のための厳密な統計的・アルゴリズム的枠組みを確立すること。
• 二重化次元が距離空間で果たす役割を代替するものとして、密度次元が非距離空間における学習の可能性を支配する中心的パラメータであることを特定すること。
• 非距離空間における分類で、高速な一般化レートを達成する近似的に最適な標本圧縮スキームを開発すること。
• 非距離空間における標本複雑性が、マージン仮定のもとでも密度次元に関して本質的に指数関数的であることを示すこと。

提案手法

• 密度次元 μ(S) を、ほぼ等距離な点の最大数によって定義される、非距離空間内の内在的幾何的複雑性の測度として導入する。
• ラベル付き部分集合の γ-ネットに基づく標本圧縮スキームを提案し、圧縮サイズが μ(S) と半径とマージンの比の対数に依存することを示す。
• 計算可能性を保証するように修正された損失関数を用いて、最適圧縮目的の扱いやすい変種を導出し、一般化境界を導出する。
• マージンに基づく解析を用いて、(k,γ)-分離可能な標本が、サイズ μ(S)^{log₂(2rad(S)/γ)} の圧縮を許容し、誤差が k/|S| 以下であることを示す。
• k 個のほぼ等距離な点の分布を用いた VC スタイルの下界の議論により、標本複雑性が密度次元に関して指数関数的であることを示す。
• ベルンシュタイン型の濃度不等式を適用し、マージン仮定のもとで高確率一般化境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非距離空間における三角不等式の欠如が、分類の標本複雑性とアルゴリズム効率にどのように影響するか？
• RQ2 非距離空間において、距離空間における二重化次元が果たす役割と類似する幾何的パラメータは何か？
• RQ3 非距離空間における標本圧縮スキームは、近似的に最適な一般化境界と高速レートを達成できるか？
• RQ4 密度次元は非距離分類における標本複雑性のタイトな特徴付けであるか？

主な発見

• 密度次元 μ(S) が、非距離空間における分類の標本複雑性とアルゴリズム効率を支配する中心的パラメータであることが示され、二重化次元の役割を置き換える。
• 圧縮サイズが μ(S)^{log₂(2rad(S)/γ)} で抑えられ、(k,γ)-分離可能な標本に対して誤差が k/|S| 以下であるような標本圧縮スキームが構築された。
• 一般化境界 R(k,γ) = Q(d,k/n) が確立され、d = μ(S)^{log₂(2rad(S)/γ)} であり、これは効率的に最適化可能で高速レートを達成する。
• 標本複雑性の下界が証明された：ある分布に対して、任意の学習アルゴリズムは Ω(√(μ(𝒳)^{log₂(2rad(S)/marg(S))}) / n) の誤差を必要とし、密度次元に関して指数関数的依存性があることが示された。
• 最適圧縮目的 Q* が計算上で NP 困難であることが示されたが、扱いやすい緩和により効率的な最適化と一般化保証が可能である。
• 結果から、三角不等式が成り立たないためパッキング・カバーイングの関係が崩れるため、非距離空間は距離空間とは根本的に異なる解析を要することが明らかになった。