[論文レビュー] Rates of Convergence for Large-scale Nearest Neighbor Classification

Xingye Qiao, Jiexin Duan+1 more|arXiv (Cornell University)|Sep 3, 2019

Data Stream Mining Techniques被引用数 7

ひとこと要約

本稿では、大規模な近似最近傍分類のための分散型分割統治的手法であるbig Nearest Neighbor (bigNN)分類器を提案する。この手法は、データを複数のマシンに分割し、それぞれで局所的なk-NN分類を実行した後、多数決投票によって結果を統合する。理論的に、bigNNはオラクルk-NN分類器と同等の最適な収束速度を有し、過剰リスクおよび分類不安定性の観点で最適性を保証する。さらに、事前学習による高速化によって、性能と計算速度の両面で理論的保証を得ている。

ABSTRACT

Nearest neighbor is a popular class of classification methods with many desirable properties. For a large data set which cannot be loaded into the memory of a single machine due to computation, communication, privacy, or ownership limitations, we consider the divide and conquer scheme: the entire data set is divided into small subsamples, on which nearest neighbor predictions are made, and then a final decision is reached by aggregating the predictions on subsamples by majority voting. We name this method the big Nearest Neighbor (bigNN) classifier, and provide its rates of convergence under minimal assumptions, in terms of both the excess risk and the classification instability, which are proven to be the same rates as the oracle nearest neighbor classifier and cannot be improved. To significantly reduce the prediction time that is required for achieving the optimal rate, we also consider the pre-training acceleration technique applied to the bigNN method, with proven convergence rate. We find that in the distributed setting, the optimal choice of the neighbor $k$ should scale with both the total sample size and the number of partitions, and there is a theoretical upper limit for the latter. Numerical studies have verified the theoretical findings.

研究の動機と目的

• 単一マシンのメモリ、通信、プライバシー制約を超える大規模データセットにおける最近傍分類を実行する課題に対処すること。
• 生データを複数の場所間で共有せずに、分散的かつ使いやすく、計算効率の良い分類手法を開発すること。
• bigNN分類器の過剰リスクおよび分類不安定性に関する収束速度を理論的に確立すること。
• データの分割方法および近傍選択が統計的性能および予測速度に与える影響を調査すること。
• 最適な収束速度を維持しつつ予測時間を短縮できる、事前学習による高速化技術を提案・分析すること。

提案手法

• bigNN分類器は、大規模データセットをs個の互いに素な部分集合に分割し、それぞれを別々のマシンで独立して処理して局所的なk-NN分類を実行する。
• 各部分集合からの局所的予測を多数決投票によって統合し、最終的な分類決定を下す。この際、生データの送信を回避する。
• 最小限の仮定のもとで理論的分析を行い、過剰リスクおよび分類不安定性（CIS）の収束速度を導出する。
• データ構造のノイズ除去により近傍探索の計算負荷を軽減するため、予測を高速化する事前学習高速化技術を導入する。
• 最適なkの選択は、全サンプル数Nおよび分割数sの両方に依存し、sの理論的上限が存在することが示された。
• 理論的分析により、bigNNがオラクルk-NN分類器と同等の収束速度を達成することが証明され、統計的最適性が確認された。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定のもとで、bigNN分類器の過剰リスクおよび分類不安定性の収束速度はどのように規定されるか？
• RQ2 分散環境下でも、bigNN分類器はオラクルk-NN分類器と同等の統計的性能を達成できるか？
• RQ3 分割数sの変化がbigNNの性能に与える影響は何か？また、sの最適なスケーリングは存在するか？
• RQ4 統計的正確性や収束速度を損なわずに、事前学習高速化をbigNNに適用できるか？
• RQ5 bigNNが最適な性能を維持するための分割数sの理論的上限は何か？

主な発見

• bigNN分類器は、オラクルk-NN分類器と同等の最適な収束速度を、過剰リスクおよび分類不安定性の両面で達成しており、統計的最適性が裏付けられた。
• bigNNの収束速度は鋭く、データ分布に関する最小限の仮定のもとでも向上できない。
• 事前学習高速化により予測時間が顕著に短縮され、統計的正確性の損失は最小限に抑えられ、同じ収束速度を維持した。
• bigNNにおける最適な近傍数kは、全サンプル数Nおよび分割数sの両方に従ってスケーリングされ、性能の安定性が保証された。
• 分割数sの理論的上限が存在し、それ以上に増加すると局所的分類器のバイアスが増加し、性能が劣化する。
• 実データセット（例：HTRU2, SUSY, Credit）を用いた数値実験により、bigNNはオラクルk-NNと同等のテスト誤差およびCISを達成するとともに、著しい高速化（一部のケースで最大88倍）を実現した。特にsが増加する際の高速化効果が顕著であったが、sの増加が速すぎる（例：γ ≥ 0.4）と性能が劣化した。