[論文レビュー] Nearest-Neighbor Sample Compression: Efficiency, Consistency, Infinite Dimensions

Aryeh Kontorovich, Sivan Sabato+1 more|arXiv (Cornell University)|May 23, 2017

Machine Learning and Algorithms被引用数 11

ひとこと要約

本稿は、有限のダブリング次元をもつ距離空間において強いベイズ一致性を達成する、サンプル圧縮に基づく1-NN（1-NN）多クラス学習アルゴリズム（KSU）を提案する。計算効率が高く、一般化誤差の上限もきつい。驚くべきことに、標準的なk-NNが失敗する特定の無限次元設定でも、依然としてベイズ一貫性を保つ。これは、古典的な一貫性仮定に挑戦する。

ABSTRACT

We examine the Bayes-consistency of a recently proposed 1-nearest-neighbor-based multiclass learning algorithm. This algorithm is derived from sample compression bounds and enjoys the statistical advantages of tight, fully empirical generalization bounds, as well as the algorithmic advantages of a faster runtime and memory savings. We prove that this algorithm is strongly Bayes-consistent in metric spaces with finite doubling dimension --- the first consistency result for an efficient nearest-neighbor sample compression scheme. Rather surprisingly, we discover that this algorithm continues to be Bayes-consistent even in a certain infinite-dimensional setting, in which the basic measure-theoretic conditions on which classic consistency proofs hinge are violated. This is all the more surprising, since it is known that $k$-NN is not Bayes-consistent in this setting. We pose several challenging open problems for future research.

研究の動機と目的

• 有限次元の距離空間でダブリング次元が有限である場合に、サンプル圧縮に基づく1-NNアルゴリズム（KSU）のベイズ一貫性を確立すること。
• 古典的なk-NNが失敗する無限次元設定において、このような圧縮に基づく1-NN手法が一貫性を保つかどうかを調査すること。
• 従来のk-NNおよびマージン正則化1-NN手法と比較して、KSUの性能と理論的保証を評価すること。
• 一般の距離空間において、効率的で圧縮に基づく1-NNアルゴリズムが、どのような条件下でベイズ一貫性を達成できるかを特定すること。

提案手法

• KSUアルゴリズムは、経験誤差とサンプルサイズに基づいて、品質関数Qを用いたデータ依存のスケール選択により、訓練データを最小の代表的部分集合S′nに圧縮する。
• 圧縮された集合S′nを用いて最近傍ルールを適用し、各点はS′nにおけるその最近傍のラベルの多数決によって分類される。
• 誤差の減少を解析するため、γ-ネットとボロノイ細分法を用いる。これにより、不純なセルが圧縮集合によってよく近似されることを保証する。
• 一般化誤差がn→∞のとき0に収束することを示すことにより、弱い一貫性を確立する。
• 一般化誤差の上限をきつくなるようにするため、品質関数Qが特定の性質（例えば、真の誤差が経験誤差に小さな加法的項を加えたもので上界される）を満たすことを前提とする。
• 無限次元では、測度論的条件が標準的なものと異なる特定の分布構成を利用する。それにもかかわらず、KSUは一貫性を保つ。

実験結果

リサーチクエスチョン

• RQ1 有限次元の距離空間でダブリング次元が有限である場合に、計算的に効率的で、サンプル圧縮に基づく1-NNアルゴリズムが強くベイズ一貫性を達成できるか？
• RQ2 k-NNが失敗する無限次元の距離空間において、圧縮に基づく1-NNアルゴリズムがベイズ一貫性を保つことができるか？
• RQ3 距離空間またはデータ分布のどのような構造的・分布的性質が、古典的な一貫性仮定を満たさないにもかかわらずKSUが一貫性を保つことを可能にするか？
• RQ4 KSUの性能は、k-NNおよびマージン正則化1-NNと比較して、一貫性、一般化誤差の上限、計算効率の観点でどのように異なるか？
• RQ5 KSUがベイズ一貫性を失うことがある分離可能な距離確率空間は存在するのか、それともより広い条件下でも一貫性を保つのか？

主な発見

• KSUは、ダブリング次元が有限である距離空間において強くベイズ一貫性を示す。これは、効率的で圧縮に基づく1-NNアルゴリズムとして、初めての結果である。
• サンプル圧縮により計算効率が向上し、一般化誤差の上限もきつくなる。k-NNよりもメモリと実行時間の点で優れており、一貫性を維持する。
• 特定の無限次元設定において、KSUは依然としてベイズ一貫性を保つ。一方で、古典的な一貫性証明に必要な測度論的条件が満たされない。
• k-NNが失敗する状況でも一貫性を保つ。これは、k-NNの一貫性を保証するのと同じ条件が、ベイズ一貫性を保証するわけではないことを示している。
• 証明は、γ-ネット、経験誤差の集中、および一般化誤差の上限をきつく保証する品質関数Qを用いた、新しい議論に依存している。
• 本稿では、KSUがベイズ一貫性を失うことがある分離可能な距離確率空間が存在するか、という問題を未解決のまま残しており、今後の研究の重要な方向性を示している。