[論文レビュー] Universal Bayes consistency in metric spaces

Steve Hanneke, Aryeh Kontorovich+2 more|arXiv (Cornell University)|Jun 24, 2019

Machine Learning and Algorithms参考文献 34被引用数 6

ひとこと要約

この論文は、すべての『本質的に分離可能』な（標準的分離可能空間よりも広いクラスに属する）距離空間において、普遍的かつ強いベイズ一貫性を達成する、1-最近傍法に基づく学習アルゴリズム OptiNet を導入する。本研究では、普遍的ベイズ一貫性が可能であるための必要十分条件が、距離空間が本質的に分離可能であることであることを証明し、普遍的ベイズ一貫性に対する最初の不可能性結果を確立した。これにより、OptiNet は距離空間における最初の「楽観的普遍的ベイズ一貫性を持つ学習者」となる。

ABSTRACT

We extend a recently proposed 1-nearest-neighbor based multiclass learning algorithm and prove that our modification is universally strongly Bayes-consistent in all metric spaces admitting any such learner, making it an "optimistically universal" Bayes-consistent learner. This is the first learning algorithm known to enjoy this property; by comparison, the $k$-NN classifier and its variants are not generally universally Bayes-consistent, except under additional structural assumptions, such as an inner product, a norm, finite dimension, or a Besicovitch-type property. The metric spaces in which universal Bayes consistency is possible are the "essentially separable" ones -- a notion that we define, which is more general than standard separability. The existence of metric spaces that are not essentially separable is widely believed to be independent of the ZFC axioms of set theory. We prove that essential separability exactly characterizes the existence of a universal Bayes-consistent learner for the given metric space. In particular, this yields the first impossibility result for universal Bayes consistency. Taken together, our results completely characterize strong and weak universal Bayes consistency in metric spaces.

研究の動機と目的

• 学習アルゴリズムが普遍的ベイズ一貫性を示すことができる距離空間を完全に特徴づけること。
• 有限次元やノルム構造といった制限的な構造的仮定がなければ、近傍ベースのアルゴリズムが普遍的ベイズ一貫性を達成できるかどうかという未解決問題を解消すること。
• 標準的分離可能性の一般化である「本質的に分離可能」という概念を定義・分析すること。
• OptiNet が本質的に分離可能な距離空間において、かつその場合に限り普遍的かつ強くベイズ一貫していることを証明し、タイトな特徴づけを確立すること。
• 特定の集合論的仮定のもとで、非本質的に分離可能な空間ではいかなる普遍的ベイズ一貫性を持つ学習者も存在しないことを示し、普遍的ベイズ一貫性に対する最初の不可能性結果を示すこと。

提案手法

• Kontorovich 他 (2017) が当初導入した圧縮に基づくアプローチを一般距離空間における多クラス分類に適応し、一般化された1-NNアルゴリズム OptiNet を提案する。
• 「本質的に分離可能」という距離空間の概念を導入：距離空間が本質的に分離可能であるとは、任意の確率測度が分離可能な部分空間にのみ支持される場合を指す。
• 可測基数や正規測度といった集合論的道具を用いて、非本質的に分離可能な空間の存在と、それが学習に与える影響を分析する。
• 測度論的および位相的議論を用いて、OptiNet がすべての本質的に分離可能な距離空間で普遍的かつ強くベイズ一貫していることを証明する。
• 非本質的に分離可能な距離空間が存在する集合論的モデルにおいて、いかなる普遍的ベイズ一貫性を持つ学習者も存在しないことを示し、不可能性結果を確立する。
• 任意の距離空間に対して、一般化されたバーレ空間へのボレル同相写像を介してボレル可測な全順序を構成することにより、アルゴリズムの構築と分析を支援する。

実験結果

リサーチクエスチョン

• RQ1 どの距離空間において普遍的ベイズ一貫性を持つ学習アルゴリズムが存在するのか？
• RQ2 有限次元、ノルム、内積といった仮定を一切要求しない近傍ベースのアルゴリズムが、普遍的ベイズ一貫性を達成できるか？
• RQ3 距離空間における普遍的ベイズ一貫性を持つ学習者の存在を特徴づける、正確な位相的または集合論的条件は何か？
• RQ4 普遍的ベイズ一貫性を持つ学習者が存在する限り成功する、すなわち「楽観的普遍的」であるような学習アルゴリズムを構築することは可能か？
• RQ5 集合論的公理（例：ZFC からの独立性）が、普遍的ベイズ一貫性を持つ学習者の存在に与える役割は何か？

主な発見

• OptiNet は、すべての本質的に分離可能な距離空間で普遍的かつ強くベイズ一貫しており、このクラスが普遍的ベイズ一貫性を達成するのに十分であることを示した。
• 特定の集合論的モデルのもとで、非本質的に分離可能な距離空間では、普遍的ベイズ一貫性が不可能であることを証明した。
• 非本質的に分離可能な距離空間の存在は ZFC とは独立であり、そのようなモデルではいかなる普遍的ベイズ一貫性を持つ学習者も存在しない。
• 本質的な分離可能性が、普遍的ベイズ一貫性を持つ学習者の存在にとって必要かつ十分であることが示され、距離空間における強いおよび弱い普遍的ベイズ一貫性を完全に特徴づけた。
• OptiNet は、成功が可能な限り成功する「楽観的普遍的ベイズ一貫性を持つ」学習アルゴリズムとして、距離空間において初めて知られている。
• 本研究の結果により、$k$-NN や関連手法が、有限次元やダブリング次元といった追加の構造的仮定なしには普遍的ベイズ一貫でないことが、長年の未解決問題を解決する形で示された。