[論文レビュー] Minimax Rate Optimal Adaptive Nearest Neighbor Classification and Regression

Puning Zhao, Lifeng Lai|arXiv (Cornell University)|Oct 22, 2019

Face and Expression Recognition参考文献 18被引用数 8

ひとこと要約

本稿では、分類および回帰においてミニマックス最適収束速度を達成するために、異なるテストサンプルに対して異なるk値を選択する適応的kNN手法を提案する。局所的特徴密度に基づいてkを動的に調整することで、元の分布の完全な知識を必要とせずに、標準kNNとミニマックス下界の間のギャップを埋める。特に、有界でないサポート領域や低密度領域で顕著な改善が得られる。

ABSTRACT

k Nearest Neighbor (kNN) method is a simple and popular statistical method for classification and regression. For both classification and regression problems, existing works have shown that, if the distribution of the feature vector has bounded support and the probability density function is bounded away from zero in its support, the convergence rate of the standard kNN method, in which k is the same for all test samples, is minimax optimal. On the contrary, if the distribution has unbounded support, we show that there is a gap between the convergence rate achieved by the standard kNN method and the minimax bound. To close this gap, we propose an adaptive kNN method, in which different k is selected for different samples. Our selection rule does not require precise knowledge of the underlying distribution of features. The new proposed method significantly outperforms the standard one. We characterize the convergence rate of the proposed adaptive method, and show that it matches the minimax lower bound.

研究の動機と目的

• 特徴分布のサポートが無限大であるか、密度が0に近い領域で、標準kNNの性能ギャップを是正すること。
• 特徴密度が低い領域ではkNN距離が大きくなり予測精度が低下するため、固定kのkNNの非最適性を克服すること。
• 元の特徴分布の正確な知識を必要とせず、局所的データ密度に基づいてkを適応的に選択するkNN手法を開発し、ミニマックス最適収束速度を達成すること。
• 理論的分析により、提案手法が分類および回帰問題の両方においてミニマックス下界と一致することを示す。
• 実用的かつ理論的裏付けのある手法を提供し、局所的データ密度に基づいてkを適応的に調整することで、挑戦的な特徴分布における一般化性能を向上させること。

提案手法

• 各テストポイントに対して局所的データ密度に応じて異なるk値を選択する適応的kNN分類器および回帰器を提案する。
• 局所的近傍サイズと推定密度の関数に比例するデータ駆動ルールを用いてkを設定し、最適なバイアス-バリアンストレードオフを確保する。
• 順序統計と集中不等式（例：ホイーディングの不等式）を用いて、近傍数を条件とする期待予測誤差の上限を導出する。
• 2ケースの解析を導入：1つは局所的ボール内の近傍数が十分に大きく、良好な推定が可能である場合、もう1つはレアケースのための解析。
• 順序統計からのベータ分布の性質を応用し、k番目の近傍球の半径のモーメントバウンドを導出する。
• 統一されたリスクバウンドを導出する。そのスケーリングは $ C_M h^{-2 heta}( extbf{x}) N^{-2 heta} $ であり、$ \theta = \min\{2(1-q)/d, q/2\} $ と表され、ミニマックスレートと一致する。

実験結果

リサーチクエスチョン

• RQ1 特徴分布のサポートが無限大であるか、密度が低い領域では、標準kNNとミニマックス下界のギャップを、適応的kNNが埋めることができるか？
• RQ2 局所的近傍サイズと密度推定に依存するデータ駆動k選択ルールが、ミニマックス最適収束速度を達成できるか？
• RQ3 提案された適応的kNNの理論的収束速度は何か？また、一般の正則性条件のもとでミニマックス下界と一致するか？
• RQ4 標準kNNがkNN距離が大きいために失敗する低特徴密度領域では、この手法はどのように動作するか？
• RQ5 真の密度関数の知識を一切必要とせず、ラベル付きおよびラベルなしの訓練サンプルのみに依存して、この手法を実装可能か？

主な発見

• 提案された適応的kNNは、分類および回帰の両方においてミニマックス最適収束速度を達成し、理論的下界と一致する。
• 有界でないサポート領域や低密度領域では、標準kNNはkNN距離が大きいため収束が遅くなるが、適応的手法によりこのギャップが解消される。
• リスクバウンドは $ \mathbb{E}[(\hat{\eta}(\mathbf{x}) - \eta(\mathbf{x}))^2] \leq C_M h^{-2\lambda}(\mathbf{x}) N^{-2\lambda} $ とスケーリングされ、$ \lambda = \min\{2(1-q)/d, q/2\} $ であり、ミニマックスレートと一致する。
• 適応的kNN手法は真の密度関数の知識を必要とせず、訓練サンプルとデータ駆動k選択ルールにのみ依存する。
• 理論的分析により、特徴密度が0から離れていない場合でも、ミニマックス最適性が保たれることを確認した。
• 特に高次元または重たい尾を持つ特徴分布では、標準kNNに比べて収束速度が顕著に向上する。