[論文レビュー] FINE: Fisher Information Non-parametric Embedding

Kevin M. Carter, Raviv Raich+2 more|ArXiv.org|Feb 14, 2008

Neural Networks and Applications参考文献 22被引用数 8

ひとこと要約

FINE は、Fisher 情報計量を用いて、自然なユークリッド表現が存在しない高次元データを低次元ユークリッド空間に埋め込む非パrametricフレームワークを提案する。クラスタリング、分類、可視化が可能になる。非パrametric密度推定およびKullback-LeiblerまたはHellinger散発を用いた測地線距離の近似により、特に線形分類器を用いた文書分類やバイオメディカルデータ解析においても、競争力ある性能を達成する。

ABSTRACT

We consider the problems of clustering, classification, and visualization of high-dimensional data when no straightforward Euclidean representation exists. Typically, these tasks are performed by first reducing the high-dimensional data to some lower dimensional Euclidean space, as many manifold learning methods have been developed for this task. In many practical problems however, the assumption of a Euclidean manifold cannot be justified. In these cases, a more appropriate assumption would be that the data lies on a statistical manifold, or a manifold of probability density functions (PDFs). In this paper we propose using the properties of information geometry in order to define similarities between data sets using the Fisher information metric. We will show this metric can be approximated using entirely non-parametric methods, as the parameterization of the manifold is generally unknown. Furthermore, by using multi-dimensional scaling methods, we are able to embed the corresponding PDFs into a low-dimensional Euclidean space. This not only allows for classification of the data, but also visualization of the manifold. As a whole, we refer to our framework as Fisher Information Non-parametric Embedding (FINE), and illustrate its uses on a variety of practical problems, including bio-medical applications and document classification.

研究の動機と目的

• 自然な低次元表現が存在しない高次元データにおいて、ユークリッド多様体仮定の制限に対処すること。
• 確率密度関数（PDF）の統計多様体上にデータが存在するとモデル化する情報幾何学の手法を構築すること。
• PDFを低次元ユークリッド空間に埋め込むことにより、非ユークリッドデータの次元削減と可視化を可能とすること。
• 既知のパラメトリックモデルを必要としない、Fisher 情報計量の推定のための非パラメトリック手法を提供すること。
• 流動細胞計測や文書分類を含む多様な分野におけるフレームワークの実用性を示すこと。

提案手法

• データを確率密度関数（PDF）としてモデル化するために、非パラメトリック密度推定（例：カーネル密度推定）を用いる。
• Kullback-Leibler距離やHellinger距離などの発散を用いて、Fisher 情報計量を近似し、PDF間の測地線距離を推定する。
• 推定された距離行列に対して多次元尺度構成（MDS）を適用し、PDFを低次元ユークリッド空間に埋め込む。
• 得られた埋め込みは、SVM や k-NN などの標準的な機械学習手法による分類やクラスタリングを可能にする。
• メトリクスの選択が柔軟であり、問題固有の特性に応じた選択が可能である。
• 実世界のデータ、特にバイオメディカル分野の流動細胞計測データと 20 Newsgroups テキストデータセットへの応用を実施する。

実験結果

リサーチクエスチョン

• RQ1 情報幾何学を用いて、Fisher 情報計量の近似を非パラメトリックフレームワークとして、高次元非ユークリッドデータを低次元ユークリッド空間に効果的に埋め込めるか。
• RQ2 パラメトリックモデルが未知である状況において、KL または Hellinger 発散による Fisher 計量近似が分類タスクでどの程度の性能を示すか。
• RQ3 FINE が自然なユークリッド表現を持たないデータの可視化やクラスタリングをどの程度可能にするか。
• RQ4 特に低サンプルサイズおよび高サンプルサイズの両状況において、拡散カーネルと比較して FINE の性能はどの程度か。
• RQ5 FINE で埋め込んだ空間における単純な線形分類器が、高次元データをそのまま用いた手法と比較して、競争力のある性能を達成できるか。

主な発見

• 20 Newsgroups データセットにおいて、FINE は埋め込み空間で線形SVMを用いても、競争力ある分類性能を達成する。
• FINE 埋め込み空間で非線形SVMカーネル（例：RBF）を用いることで、分類精度がさらに向上し、フレームワークが判別的構造を効果的に保持していることが示された。
• 低サンプルサイズの状況では、次元削減の効果と次元の呪いの回避により、FINE は拡散カーネルを上回る性能を示した。
• 流動細胞計測や文書分類の例において、PDFを低次元空間に埋め込むことで、複雑なデータ多様体の可視化に成功した。
• Fisher 計量の近似に用いる発散（KL または Hellinger）の選択は問題に依存するが、両者とも有効な測地線距離推定を実現した。
• FINE はバイオメディカルデータやテキスト分類を含む多様な応用に対してロバストであり、自然なユークリッド表現を持たないデータへの汎用性を示した。