[論文レビュー] Structural Similarity and Distance in Learning

Joseph Wang, Venkatesh Saligrama+1 more|arXiv (Cornell University)|Oct 26, 2011

Machine Learning in Bioinformatics参考文献 13被引用数 4

ひとこと要約

本稿では、データの低ランク表現を学習することで、低次元多様体の構造を捉える構造に敏感な類似度および距離測度を提案する。この手法は表現をカーネル化して非線形構造に対応させ、閉形式での計算を可能にし、ユークリッド近傍を構造に基づく近傍に置き換えることで、クラスタリングおよび異常検出の性能を向上させる。合成データおよび実世界のデータセットにおいて、K近傍法およびOne-Class SVMを上回る性能を発揮する。

ABSTRACT

We propose a novel method of introducing structure into existing machine learning techniques by developing structure-based similarity and distance measures. To learn structural information, low-dimensional structure of the data is captured by solving a non-linear, low-rank representation problem. We show that this low-rank representation can be kernelized, has a closed-form solution, allows for separation of independent manifolds, and is robust to noise. From this representation, similarity between observations based on non-linear structure is computed and can be incorporated into existing feature transformations, dimensionality reduction techniques, and machine learning methods. Experimental results on both synthetic and real data sets show performance improvements for clustering, and anomaly detection through the use of structural similarity.

研究の動機と目的

• ユークリッド距離が低次元多様体構造を捉えることの限界、特に希なサンプリングやノイズの下での限界を是正すること。
• 内在的なデータ構造を反映する低ランク表現を学習するための計算効率的で閉形式の手法を開発すること。
• 次元削減、特徴変換、カーネル法などの既存の機械学習パイプラインへの構造的類似度の統合を可能にすること。
• ユークリッド近傍を低ランク表現から得られる構造的近傍に置き換えることで、クラスタリングおよび異常検出の性能を向上させること。

提案手法

• データを下位の多様体構造を反映する新しい座標空間に埋め込むための正則化された低ランク表現問題を定式化する。
• 低ランク表現の閉形式解を導出することで、大規模データセットにおける効率的な計算を可能にする。
• ガウスRBFなどのカーネル関数を用いて、低ランク表現問題をカーネル化し、非線形多様体への適用可能性を拡張する。
• 学習された表現と整合性を持つように、テストサンプルの低ランク表現を推定する手法を開発する。
• 低ランク表現の残差を異常検出のための構造的逸脱度の指標として用いる。
• ユークリッド近傍の定義を構造に基づく近傍に置き換えることで、既存の学習フレームワークへの構造的類似度の統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 希なサンプリングやノイズの下でも、低ランク表現がデータの内在的な低次元構造を効果的に捉えることができるか？
• RQ2 ユークリッド近傍を構造的近傍に置き換えることで、クラスタリングおよび異常検出の性能が向上するか？
• RQ3 低ランク表現問題が閉形式で解けるか、カーネル化によって非線形設定へ効果的に拡張可能か？
• RQ4 実データおよび合成データにおいて、低ランク表現の残差はユークリッド距離に比べて異常検出において優れた性能を示すか？
• RQ5 K近傍法およびOne-Class SVMといった既存のベースラインを上回る性能を、異常検出タスクで示せるか？

主な発見

• 低ランク表現行列Zは、各ブロックが低ランク部分空間に対応するブロック対角構造を示し、データを独立した多様体に自動的に分解可能である。
• 異常検出において優れた性能を発揮し、全テストデータセットにおいて、ROC曲線がK近傍法およびOne-Class SVMのそれらを常に上回る。
• Ionosphereデータセットでは、KLRRの残差に基づく手法が、ユークリッドベースのp値推定法およびOne-Class SVMを上回り、平均ROC曲線におけるAUCが高かった。
• JAFFEおよびUSPS数字データセットでは、KLRRの残差に基づくアプローチが、K近傍法およびOne-Class SVMよりも平均的に優れた性能を示し、ROC曲線が両方のベースラインを上回った。
• 閉形式解のおかげで大規模データセットでも効率的な計算が可能であり、カーネル化された拡張により非線形多様体のモデル化が効果的に行える。
• ノイズに強く、高曲率または低サンプリングレジームの合成データ実験においても、希なサンプリング下でも正確な多様体表現を維持する。