[論文レビュー] Universal consistency and rates of convergence of multiclass prototype algorithms in metric spaces

László Györfi, Roi Weiss|arXiv (Cornell University)|Oct 1, 2020

Face and Expression Recognition参考文献 42被引用数 8

ひとこと要約

本稿では、任意の距離空間において普遍的収束性を示す、多クラス分類のための簡素化されたデータ依存型プロトタイプ最近傍ルールであるProto-NNを導入する。距離空間に普遍的収束性を持つ分類器が存在する限り、その普遍的収束性を証明する。マージン条件と一般化リーマン条件の下で、$k$-NNおよびハイブリッドプロトタイプルールの収束速度を確立し、従来の$ℝ^d$からの結果を有界性の仮定なしに一般距離空間へと拡張する。

ABSTRACT

We study universal consistency and convergence rates of simple nearest-neighbor prototype rules for the problem of multiclass classification in metric paces. We first show that a novel data-dependent partitioning rule, named Proto-NN, is universally consistent in any metric space that admits a universally consistent rule. Proto-NN is a significant simplification of OptiNet, a recently proposed compression-based algorithm that, to date, was the only algorithm known to be universally consistent in such a general setting. Practically, Proto-NN is simpler to implement and enjoys reduced computational complexity. We then proceed to study convergence rates of the excess error probability. We first obtain rates for the standard $k$-NN rule under a margin condition and a new generalized-Lipschitz condition. The latter is an extension of a recently proposed modified-Lipschitz condition from $\mathbb R^d$ to metric spaces. Similarly to the modified-Lipschitz condition, the new condition avoids any boundness assumptions on the data distribution. While obtaining rates for Proto-NN is left open, we show that a second prototype rule that hybridizes between $k$-NN and Proto-NN achieves the same rates as $k$-NN while enjoying similar computational advantages as Proto-NN. However, as $k$-NN, this hybrid rule is not consistent in general.

研究の動機と目的

• 一般距離空間における新規で簡素化されたプロトタイプ最近傍ルール（Proto-NN）の普遍的収束性を確立すること。
• $k$-NNの収束速度分析を$ℝ^d$から一般距離空間へと、一般化リーマン条件を用いて拡張すること。
• Proto-NNと$k$-NNを組み合わせたハイブリッドルールが、$k$-NNの収束速度を達成しながら、Proto-NNの計算的利点を維持できることを示すこと。
• データ分布の有界性仮定を排除するため、距離空間における一般化リーマン条件を導入すること。
• Proto-NNがOptiNetの普遍的収束性を継承するが、計算複雑性が著しく低減されることを示すこと。

提案手法

• データ依存型の分割ルールとしてProto-NNを提案し、局所的近傍構造に基づいてプロトタイプを選択することで、OptiNetの圧縮に基づくアプローチを簡素化する。
• 分離可能距離空間において普遍的収束性を示し、局所的密度と分類安定性の新たな解析に依拠する。
• 有界性を要件としない一般距離空間における一般化リーマン条件を導入し、$ℝ^d$における修正リーマン条件を一般化する。
• $k$-NNの収束速度をマージン条件および一般化リーマン条件の下で分析し、$O(k^{-(\alpha+1)/2})$および$O(h(k/n)^{\alpha+1})$の誤差バウンドを導出する。
• ハイブリッドプロトタイプルールを構築し、$k$-NNの収束速度性能とProto-NNの計算的単純性を統合する。$k$-NNと同等の収束速度を達成できることを示す。
• Hoeffdingの不等式とChernoffの不等式を用いて、特にマージンおよびリーマン型条件の下で回帰関数推定の推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 一般距離空間において、OptiNetの複雑な圧縮機構を大幅に簡素化したが、普遍的収束性を維持する代替手法は存在するか？
• RQ2 $k$-NNの収束速度を、有界性仮定よりも弱い分布的仮定の下で一般距離空間へと拡張できるか？
• RQ3 Proto-NNの高速計算性と$k$-NNの収束速度を両立するハイブリッドプロトタイプルールは存在するか？
• RQ4 距離空間における一般化リーマン条件が、収束解析における有界性仮定を置き換えることができるか？
• RQ5 マージン条件と一般化リーマン条件の理論的関係は、プロトタイプルールの収束速度にどのように寄与するか？

主な発見

• Proto-NNは、普遍的収束性を持つ分類器を許容する任意の分離可能距離空間において、普遍的強く収束する。これは、OptiNetの複雑な圧縮機構を著しく簡素化する。
• $k$-NNの収束速度は、マージン条件および一般化リーマン条件の下で$O(k^{-(\alpha+1)/2})$であり、ここで$\alpha$はマージン指数である。
• 項$J_{n,j,l}^{(2)}$は$O(h(k/n)^{\alpha+1}) + O(h(1/m)^{\alpha+1})$で有界であり、一般化リーマン条件が誤差の減衰に与える影響を示している。
• ハイブリッドプロトタイプルールは、$k$-NNと同等の収束速度$O(k^{-(\alpha+1)/2})$を達成するが、Proto-NNと同程度の計算効率を維持する。
• 一般化リーマン条件により、データ分布の有界性仮定を回避でき、その分析は無限次元距離空間（例：$L^p([a,b])$）にも適用可能である。
• 解析により、過剰誤差確率がマージンと回帰関数の局所的正則性（一般化リーマン条件で定量化）の両方に依存して減少する速度が確認された。