[論文レビュー] Survey of Nearest Neighbor Techniques

Nitin Bhatia, Vandana Bharti|arXiv (Cornell University)|Jul 1, 2010

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 457

ひとこと要約

この論文は最近傍（NN）手法を調査し、メモリ使用量と計算効率のトレードオフに対処するために、構造なしと構造ありの手法に分類する。k-dツリー、ボールツリー、kNNの変種といった主要なアルゴリズムをレビューし、構造あり手法が探索時間を短縮するのに対し、構造なし手法がメモリ使用量を最小限に抑えることの利点を強調し、パターン認識およびコンピュータビジョン分野の研究者に包括的な概要を提供する。

ABSTRACT

The nearest neighbor (NN) technique is very simple, highly efficient and effective in the field of pattern recognition, text categorization, object recognition etc. Its simplicity is its main advantage, but the disadvantages can't be ignored even. The memory requirement and computation complexity also matter. Many techniques are developed to overcome these limitations. NN techniques are broadly classified into structure less and structure based techniques. In this paper, we present the survey of such techniques. Weighted kNN, Model based kNN, Condensed NN, Reduced NN, Generalized NN are structure less techniques whereas k-d tree, ball tree, Principal Axis Tree, Nearest Feature Line, Tunable NN, Orthogonal Search Tree are structure based algorithms developed on the basis of kNN. The structure less method overcome memory limitation and structure based techniques reduce the computational complexity.

研究の動機と目的

• パターン認識およびコンピュータビジョン分野における最近傍手法の包括的サーベイを提供すること。
• 最近傍アルゴリズムにおけるメモリ使用量と計算複雑性のトレードオフを分析すること。
• 効率性を向上させるために、構造なしと構造ありのNN手法を分類・比較すること。
• k-dツリー、ボールツリー、kNNの変種といった重要な進展を特定し、パフォーマンス最適化を図ること。
• アプリケーション固有の制約に基づいて適切なNN手法を選択するための指針を研究者に提供すること。

提案手法

• 最近傍手法を構造なし（例：重み付きkNN、凝縮NN）と構造あり（例：k-dツリー、ボールツリー）に分類すること。
• 構造なし手法が訓練データの表現を単純化することでメモリフットプリントを低減する仕組みを分析すること。
• 階層的空間分割を用いて探索を高速化する構造あり手法を検討すること。
• 一般化最近傍（generalized NN）や直交探索ツリーといった技術が、精度と速度の両立を図る方法を評価すること。
• モデルベースkNNと低減NNをサーベイし、精度と計算コストのバランスをとること。
• 各手法のアルゴリズム的原則を比較して、スケーラビリティと効率性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 構造なし最近傍手法は、標準kNNと比較して、どのようにメモリ要件を低減するか？
• RQ2 構造ありNNアルゴリズムにおいて、計算効率と精度の間にはどのようなトレードオフがあるか？
• RQ3 k-dツリーとボールツリーは、どのような状況で従来のkNNを上回る性能を発揮するか？
• RQ4 重み付きkNNおよびモデルベースkNNの変種は、分類精度をどのように向上させるか？
• RQ5 凝縮NNおよび低減NNには、分類性能の維持においてどのような限界があるか？

主な発見

• k-dツリーおよびボールツリーといった構造あり手法は、データを空間的に整理することで計算複雑性を顕著に低減する。
• 凝縮NNや低減NNといった構造なし手法は、訓練サンプルの保存を最小限に抑えることでメモリ使用量を削減する。
• 重み付きkNNおよびモデルベースkNNは、近傍の影響を可変にすることで分類精度を向上させる。
• 一般化最近傍（generalized NN）および直交探索ツリーは、速度と精度のバランスを取るための調整可能なパラメータを提供する。
• 主軸ツリー（principal axis trees）および最近傍特徴線（nearest feature lines）は、高次元データに対する効率的な代替手法を提供する。
• 本サーベイは、構造ありインデキシングと構造なし最適化を組み合わせることで、実際の応用で最適なパフォーマンスが得られることを確認している。