[論文レビュー] Dimensionality Invariant Similarity Measure

Ahmad B. Hassanat|arXiv (Cornell University)|Sep 2, 2014

Face and Expression Recognition参考文献 22被引用数 13

ひとこと要約

本稿では、高分散特徴量の影響を軽減することでK-最近傍法（KNN）分類の性能を向上させる次元不変の類似度測度を提案する。この手法は数学的に有効な距離関数としての妥当性を証明し、実データセット上での実験において従来の距離関数よりも優れた性能を示しており、多様な機械学習応用分野における強い可能性を示している。

ABSTRACT

This paper presents a new similarity measure to be used for general tasks including supervised learning, which is represented by the K-nearest neighbor classifier (KNN). The proposed similarity measure is invariant to large differences in some dimensions in the feature space. The proposed metric is proved mathematically to be a metric. To test its viability for different applications, the KNN used the proposed metric for classifying test examples chosen from a number of real datasets. Compared to some other well known metrics, the experimental results show that the proposed metric is a promising distance measure for the KNN classifier with strong potential for a wide range of applications.

研究の動機と目的

• 特徴空間の次元の不均衡、特に特徴量のスケール差が機械学習における類似度測定に歪みをもたらす問題に対処すること。
• 異なる特徴量のスケールや次元数にかかわらず安定した類似度測度を構築すること。
• 提案された測度が距離関数としての数学的性質（非負性、同一視の同一性、対称性、三角不等式）を満たすことを保証すること。
• KNNをベース分類器として用い、実世界の分類タスクにおける手法の有効性を評価すること。
• 実応用において、既存の代表的な距離関数よりも提案された距離関数が優れていることを示すこと。

提案手法

• 高分散次元の影響を軽減するため、特徴量の寄与度を正規化する新しい類似度測度を提案する。
• 次元数に依存しない正規化方式を用いて、特徴空間の寄与度をバランスさせる距離関数を定式化する。
• 提案された測度が距離関数の公理（非負性、同一視の同一性、対称性、三角不等式）をすべて満たすことを数学的に証明する。
• 分類タスクにおいて、KNN分類器フレームワーク内に類似度測度を適用する。
• 実世界のデータセットを用いて、提案された距離関数を用いたKNNの性能を実験的に評価する。
• 標準的な距離関数（ユークリッド距離やマンハッタン距離など）と比較することで、有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 特徴量のスケール差が著しい次元間においても、安定した類似度測度を設計できるか？
• RQ2 提案された距離関数が、適正な距離関数として分類されるために必要な数学的条件を満たしているか？
• RQ3 従来の距離関数と比較して、提案された類似度測度を用いたKNN分類器の性能はどのように変化するか？
• RQ4 スケールが不均一な実データセットにおいて、提案された測度が分類精度をどの程度向上させるか？
• RQ5 提案された類似度測度は、KNNを越えた多様な機械学習応用分野へ一般化可能か？

主な発見

• 提案された類似度測度は、数学的に有効な距離関数として、すべての4つの距離関数公理を満たすことが証明された。
• 実データセットを用いた実験結果から、提案された距離関数を用いたKNNは、ユークリッド距離やマンハッタン距離を用いたKNNよりも高い分類精度を達成した。
• 高分散特徴量が類似度計算に与える悪影響を効果的に軽減し、より高い耐障害性を実現した。
• 提案された距離関数は、多様なデータセットや応用分野において優れた一般化可能性を示した。
• 複数の実世界データセットにおいて一貫した性能向上が確認され、信頼性とスケーラビリティの両方を示した。