[論文レビュー] Kernel Scaling for Manifold Learning and Classification

Ofir Lindenbaum, Moshe Salhov+2 more|arXiv (Cornell University)|Jul 4, 2017

Anomaly Detection Techniques and Applications参考文献 43被引用数 4

ひとこと要約

本稿では、反復的な分類器再訓練を回避するため、多様体学習および分類のための最適なカーネルバンド幅を自動的に選択するデータ駆動型手法を提案する。内因的次元に配慮したスケーリングのための貪欲なアルゴリズムと、分類性能最適化を目的とした3つのバンド幅推定手法を導入し、合成データおよび実データ（地震イベント分類を含む）において優れた性能を示した。

ABSTRACT

Kernel methods play a critical role in many machine learning algorithms. They are useful in manifold learning, classification, clustering and other data analysis tasks. Setting the kernel's scale parameter, also referred to as the kernel's bandwidth, highly affects the performance of the task in hand. We propose to set a scale parameter that is tailored to one of two types of tasks: classification and manifold learning. For manifold learning, we seek a scale which is best at capturing the manifold's intrinsic dimension. For classification, we propose three methods for estimating the scale, which optimize the classification results in different senses. The proposed frameworks are simulated on artificial and on real datasets. The results show a high correlation between optimal classification rates and the estimated scales. Finally, we demonstrate the approach on a seismic event classification task.

研究の動機と目的

• カーネル法における最適なカーネルバンド幅（スケールパラメータ）の選択という、多様体学習および分類において顕著な影響を及ぼす重要な課題に取り組む。
• データの内因的次元に一致させるように、多様体学習に特化したバンド幅推定手法を開発する。
• 反復的な分類器適用を必要とせず、性能を最適化する3つの分類用バンド幅推定手法を提案する。
• 人工的および実世界のデータセット、特に地震イベント分類タスクを含む、両方のタスクにおいて提案手法の有効性を実証する。
• 交差検証や反復的再訓練に依存しないフレームワークを提供することで、効率性とスケーラビリティを向上させる。

提案手法

• 最近接近接距離とベクトルの角度集中に基づいて、データの内因的次元を推定するDANCo手法を用いる。
• 各特徴が推定された内因的次元を最もよく保持するようにスケーリングするための貪欲なアルゴリズムを提案し、特徴別バンド幅ベクトル $\boldsymbol{\epsilon} = [\epsilon_1, \dots, \epsilon_D]$ を計算する。
• 分類の文脈では、3つのバンド幅推定手法を導入する：クラス平均間の分離を最大化する手法、クラス内分散を最小化する手法、およびクラス分離性を測る幾何的指標を用いる手法。
• カーネル関数を $K_{ij} = \exp\left(-\frac{||\mathbf{x}_i - \mathbf{x}_j||^2}{\epsilon}\right)$ の形で用い、ヒューリスティック値や交差検証による値の代わりに、提案手法で推定された $\epsilon$ を用いる。
• 実データと $d$ 次元超球面上の合成データとの間の角度分布と距離分布をKullback-Leibler発散を用いて比較し、内因的次元推定の精度を向上させる。
• 推定されたバンド幅を拡散マップおよびカーネルベース分類器に統合し、各 $\epsilon$ に対して分類器を再訓練せずに性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 非監視的多様体学習において、多様体の内因的次元を最もよく保持するカーネルバンド幅はどのように選択できるか？
• RQ2 反復的な分類器再訓練や交差検証を必要とせず、分類精度を最大化するバンド幅推定戦略は何か？
• RQ3 特徴別バンド幅選択戦略は、多様体学習および分類タスクの両方で性能向上をもたらすか？
• RQ4 標準的なヒューリスティクス（例：平均二乗距離）と比較して、提案手法の分類精度および頑健性はどの程度優れているか？
• RQ5 地震イベント分類のような実世界の応用において、提案手法は意味のあるカーネルスケールの選択をどの程度自動化できるか？

主な発見

• 提案手法によるバンド幅推定は、複数のデータセットにおいて推定スケールと最適分類精度との間に高い相関関係を示した。
• 内因的次元に配慮した貪欲なバンド幅選択手法は、既知の次元を持つ合成データセット上で、真の多様体構造を効果的に捉えていることが検証された。
• 3つの分類最適化バンド幅手法は、平均二乗距離を $\epsilon$ として使用する標準的なヒューリスティクスと比較して、顕著に分類性能を向上させた。
• 地震イベント分類タスクにおいて、提案手法は手動チューニングなしで意味のあるカーネルスケールを学習し、分類精度を向上させた。
• 交差検証や反復的再訓練に依存する必要を減らすことで、より高速でスケーラブルな代替手法を提供した。
• DANCoによる内因的次元推定と、KL発散に基づくモデル比較を組み合わせることで、高次元設定におけるバンド幅選択の精度が向上した。