[論文レビュー] K-Nearest Neighbour and Support Vector Machine Hybrid Classification

Abdul Mueed Hafiz|arXiv (Cornell University)|Jun 28, 2020

Face and Expression Recognition参考文献 27被引用数 4

ひとこと要約

本稿では、近接性閾値内のテストサンプルに対してのみK-NNを適用し、残りのサンプルについてはクラス固有の近接トレーニングパターンで訓練されたSVMを用いることで、分類精度を向上させるハイブリッドK-Nearest Neighbour（K-NN）およびサポートベクターマシン（SVM）手法を提案する。この手法は、USPS、MNIST、およびアラビア数字データセットにおいて、最先端の手法よりも優れた性能を示す。

ABSTRACT

In this paper, a novel K-Nearest Neighbour and Support Vector Machine hybrid classification technique has been proposed that is simple and robust. It is based on the concept of discriminative nearest neighbourhood classification. The technique consists of using K-Nearest Neighbour Classification for test samples satisfying a proximity condition. The patterns which do not pass the proximity condition are separated. This is followed by sifting the training set for a fixed number of patterns for every class which are closest to each separated test pattern respectively, based on the Euclidean distance metric. Subsequently, for every separated test sample, a Support Vector Machine is trained on the sifted training set patterns associated with it, and classification for the test sample is done. The proposed technique has been compared to the state of art in this research area. Three datasets viz. the United States Postal Service (USPS) Handwritten Digit Dataset, MNIST Dataset, and an Arabic numeral dataset, the Modified Arabic Digits Database, MADB, have been used to evaluate the performance of the algorithm. The algorithm generally outperforms the other algorithms with which it has been compared.

研究の動機と目的

• 複雑で非線形分離不可能なデータを扱う際の単独K-NNおよびSVMの限界を克服し、両者の長所を組み合わせること。
• 曖昧または遠く離れたテストサンプルにのみSVMを効率的に適用することで、計算コストを低減し、一般化性能を向上させること。
• 多様な手書き数字データセットで高い精度を維持する、堅牢でシンプルな分類フレームワークを構築すること。
• 標準ベンチマークデータセットにおいて、既存のハイブリッドおよびベースライン分類手法を上回ること。

提案手法

• テストサンプルは、トレーニングデータとの距離に基づく事前に定義された近接性条件を満たす場合に限り、K-NNによる分類が行われる。
• 近接性条件を満たさないサンプルは分離され、別個に処理される。
• 分離された各テストサンプルについて、ユークリッド距離メトリックを用いて各クラスごとに固定数の近接パターンを抽出する。
• その後、各分離されたテストサンプルに関連する抽出されたトレーニングパターンに基づいて、個別のSVMが訓練される。
• 各テストサンプルの分類は、近接性条件を満たしている場合はK-NNの結果、それ以外の場合は対応するSVMの結果に基づいて決定される。
• この手法は、K-NNの局所的不変性とSVMのグローバル最適化を活用し、意思決定境界を強化する。

実験結果

リサーチクエスチョン

• RQ1 K-NNとSVMをハイブリッド化したアプローチは、手書き数字認識タスクにおける分類精度を向上させることができるか？
• RQ2 テストサンプルの近接性ベースのフィルタリングは、ハイブリッドモデルの性能と効率にどのように影響するか？
• RQ3 抽出された近接トレーニングパターンにクラス固有のSVMを訓練することは、全トレーニングセットを用いる場合よりも優れた一般化性能をもたらすか？
• RQ4 提案手法は、ベンチマークデータセットにおいて、最先端のハイブリッドおよびスタンドアロン分類器と比較してどのように差をつけるか？
• RQ5 データセットの特性（例：クラス分布、数字のスタイル）は、ハイブリッドモデルの性能にどのような影響を及えるか？

主な発見

• 提案されたハイブリッド手法は、USPS手書き数字データセットにおいて、最先端のアルゴリズムを上回る。
• MNISTデータセットでは、ベースラインのK-NNおよびSVM分類器よりも高い精度を達成しており、一般化性能の向上が示された。
• 修正アラビア数字データベース（MADB）においても、優れた性能を示しており、異なる数字の書き方スタイルに対しても堅牢であることが確認された。
• 近接性フィルタリングの使用により、SVMのトレーニングインスタンス数が削減され、精度を損なうことなく計算効率が向上した。
• 局所的なK-NN意思決定とグローバルなSVM学習の組み合わせにより、曖昧または遠く離れたテストサンプルに対する分類がより信頼性あるものとなった。