[論文レビュー] An Information Geometric Framework for Dimensionality Reduction

Kevin M. Carter, Raviv Raich+1 more|ArXiv.org|Sep 29, 2008

Neural Networks and Applications参考文献 19被引用数 4

ひとこと要約

本稿では、高次元データを統計多様体上の確率分布としてモデル化し、ヘリンジャー距離やフィッシャー・ラオ距離などの情報幾何的距離を用いて、内在的な構造を保持する次元削減のための情報幾何的フレームワークを提案する。この手法により、多次元尺度構成（MDS）を用いた統計多様体の再構築と、類似関係を保持するデータドメインにおける次元削減が可能となり、距離の単調性に関する理論的保証と、直交射影を維持する制約付き勾配降下法が得られる。

ABSTRACT

This report concerns the problem of dimensionality reduction through information geometric methods on statistical manifolds. While there has been considerable work recently presented regarding dimensionality reduction for the purposes of learning tasks such as classification, clustering, and visualization, these methods have focused primarily on Riemannian manifolds in Euclidean space. While sufficient for many applications, there are many high-dimensional signals which have no straightforward and meaningful Euclidean representation. In these cases, signals may be more appropriately represented as a realization of some distribution lying on a statistical manifold, or a manifold of probability density functions (PDFs). We present a framework for dimensionality reduction that uses information geometry for both statistical manifold reconstruction as well as dimensionality reduction in the data domain.

研究の動機と目的

• データに自然な低次元ユークリッド表現がない場合に、従来のユークリッド多様体学習の限界を克服すること。
• ユークリッドデータポイントではなく、確率密度関数（PDF）の統計多様体上で直接動作する次元削減フレームワークの開発。
• 可視化および特徴選択のための低次元空間への埋め込みにおいて、高次元データPDF間の内在的類似関係を保持すること。
• マージナル化における距離の単調性に関する理論的基盤を提供し、情報的距離測度の頑健性を保証すること。
• 正規直交性を満たす勾配降下法を用いた制約付き最適化手法を導入し、埋め込み過程における射影の直交性を維持すること。

提案手法

• 高次元データを、自然パラメータでパrameter化された統計多様体を形成する潜在的確率密度関数（PDF）の実現とみなす。
• 統計多様体上での類似度の内在的測度として、特にヘリンジャー距離とフィッシャー・ラオ距離を用いた情報幾何的距離を用いる。
• ペアワイズ情報幾何的距離の行列に多次元尺度構成（MDS）を適用し、統計多様体を低次元ユークリッド空間に埋め込む。
• 低次元部分空間におけるPDFの類似構造を保持するデータドメインにおける次元削減手法を定式化し、可視化および変数選択を可能にする。
• ラグランジュ乗数とテイラー展開を用いた近似を用いて、正規直交性制約を満たす勾配降下法のアルゴリズムを導出する。
• 情報幾何的フレームワークにおける最適化を支援するため、変換行列 $ T = f/(f+g) $ の勾配を対数微分を用いて計算する。

実験結果

リサーチクエスチョン

• RQ1 非ユークリッド的構造を示す高次元データに対して、情報幾何的距離がユークリッド距離のより頑健で意味のある代替手段となるか。
• RQ2 提案されたフレームワークは、データドメインにおける次元削減の過程で、データPDF間の内在的類似関係を保持するか。
• RQ3 情報幾何的距離はマージナル化の下でどのように振る舞い、この性質を用いて次元削減における単調性を保証できるか。
• RQ4 直交性を維持しつつ、幾何学的構造を保持する低次元部分空間への高次元データの射影を効果的に行う最適化戦略は何か。
• RQ5 遺伝子マイクロアレイやフローサイトメトリーのように、自然に分布として現れるデータに、このフレームワークを適用可能か。

主な発見

• 結合確率密度関数（PDF）間の二乗ヘリンジャー距離は、常にその周辺分布間の二乗ヘリンジャー距離以上であることが示され、情報幾何的距離がマージナル化の下で単調であることを証明した。
• 情報幾何的距離を用いたMDSに基づく埋め込みは、低次元ユークリッド空間における統計多様体の再構築に成功し、内在的構造を保持した。
• 正規直交性制約を課した制約付き勾配降下法により、最適化過程における射影行列が直交性を維持し、埋め込みの幾何学的整合性が保たれた。
• ラグランジュ乗数行列の0次および1次項によるテイラー展開近似により、正規直交性制約下での勾配の近似が安定的かつ効果的であることが示された。
• 対数微分を用いて導出した変換行列 $ T = f/(f+g) $ の勾配は、情報幾何的フレームワークにおける効率的最適化を可能にした。
• このフレームワークは理論的に妥当であり、遺伝子マイクロアレイやフローサイトメトリーなど、自然に確率分布としてモデル化される高次元データタイプに適用可能である。