[論文レビュー] Local Component Analysis

Nicolas Le Roux, Francis Bach|arXiv (Cornell University)|Sep 1, 2011

Anomaly Detection Techniques and Applications参考文献 23被引用数 5

ひとこと要約

本稿では、局所的成分分析（Local Component Analysis）を提案する。これは、期待最大化（EM）を用いて全ユークリッド距離計量を学習する非教師あり手法であり、外れ値検出およびクラスタリングのためのカーネル密度推定を改善することを目的としている。半パラメトリックなガウス-パルツェンモデルを統合し、行列の逆行列および固有値分解を用いた閉形式の更新を行うことで、他の手法に比べてより高いテスト尤度を達成し、スペクトルクラスタリングなどの局所的距離に基づく学習手法の性能を向上させる。

ABSTRACT

Kernel density estimation, a.k.a. Parzen windows, is a popular density estimation method, which can be used for outlier detection or clustering. With multivariate data, its performance is heavily reliant on the metric used within the kernel. Most earlier work has focused on learning only the bandwidth of the kernel (i.e., a scalar multiplicative factor). In this paper, we propose to learn a full Euclidean metric throughanexpectation-minimisation(EM)procedure, which can be seen as an unsupervised counterpart to neighbourhood component analysis (NCA). In order to avoid overfitting with a fully nonparametric density estimator in high dimensions, we also consider a semi-parametric Gaussian-Parzen density model, where some of the variables are modelled through a jointly Gaussian density, while others are modelled through Parzen windows. For these two models, EM leads to simple closed-form updates based on matrix inversions and eigenvalue decompositions. We show empirically that our method leads to density estimators with higher test-likelihoods than natural competing methods, and that the metrics may be used within most unsupervised learning techniques that rely on local distances, such as spectral clustering or manifold learning methods. Finally, we present a stochastic approximation scheme which allows for the use of this method in a large-scale setting. 1

研究の動機と目的

• バンド幅の学習にとどまらず、全ユークリッド距離計量の学習により、高次元多変量データにおけるカーネル密度推定を改善すること。
• パラメトリックおよびノンパラメトリック成分を組み合わせた半パラメトリックなガウス-パルツェンモデルを導入することで、ノンパラメトリック密度推定における過学習を軽減すること。
• スペクトルクラスタリングや多様体学習などの、局所的距離に依存するさまざまな非教師あり学習手法に、学習されたメトリックを適用可能にする。
• ミニバッチでデータを処理するための確率的近似スキームを用いることで、大規模データセットへの実用的導入を可能にする。

提案手法

• 本手法は、パルツェン窓密度推定のための全ユークリッド距離計量とカーネルバンド幅を同時に学習するため、期待最大化（EM）手順を採用する。
• 一部の変数を連続ガウス分布で、他の変数をパルツェン窓でモデル化する半パラメトリックモデルを導入し、高次元における過学習を低減する。
• 行列の逆行列および固有値分解を用いて、EMの更新式を閉形式で導出することで、効率的な最適化を実現する。
• 学習されたメトリックは、スペクトルクラスタリングやラプラシアン固有ベクトル法などの、局所的距離に依存する非教師あり学習手法と互換性を持つように設計されている。
• 大規模データセットへのスケーリングを実現するため、ミニバッチでデータを処理する確率的近似スキームを提案する。
• 本手法は、分類を目的とした近傍成分分析（NCA）の非教師あり版として位置づけられ、密度推定に特化している。

実験結果

リサーチクエスチョン

• RQ1 バンド幅の学習にとどまらず、全ユークリッド距離計量の学習により、カーネル密度推定の性能が向上するか？
• RQ2 半パラメトリックなガウス-パルツェンモデルは、高次元密度推定における過学習をどのように軽減するか？
• RQ3 学習されたメトリックは、スペクトルクラスタリングや多様体学習などの下流の非教師あり学習タスクに、どの程度性能向上をもたらすか？
• RQ4 確率的近似を用いることで、EMに基づく最適化を大規模データセットにスケーリングできるか？
• RQ5 提案手法は、既存の密度推定およびメトリック学習のベースラインに比べ、より高いテスト尤度を達成するか？

主な発見

• 提案手法は、自然な競合手法に比べてより高いテスト尤度を達成し、密度推定性能の向上を示している。
• 学習されたメトリックは、スペクトルクラスタリングや多様体学習などの局所的距離に基づく非教師あり学習手法の性能を顕著に向上させている。
• EM手順により、行列の逆行列および固有値分解に基づく閉形式の更新が得られ、効率的で安定した最適化が可能である。
• 半パラメトリックなガウス-パルツェンモデルは、パラメトリックおよびノンパラメトリック成分を組み合わせることで、高次元設定における過学習を効果的に低減している。
• 確率的近似スキームにより、大規模データセットへのスケーラブルな適用が可能となり、計算コストを削減しながらも性能を維持している。
• 本手法は、密度推定と外れ値検出に特化した、近傍成分分析（NCA）の実用的で代替可能な非教師あり手法であることが示された。