[論文レビュー] HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections

Ines Chami, Albert Gu+2 more|arXiv (Cornell University)|Jun 6, 2021

Image and Signal Denoising Methods被引用数 5

ひとこと要約

HoroPCAは、水平超曲面への射影を活用することで、双曲空間への主成分分析（PCA）の一般化を実現する新しい双曲次元削減手法を提案する。従来の手法よりも距離と主方向に沿った情報をより正確に保持し、歪みを著しく低減（例：平均歪み0.078）するとともに、効果的なデータホワイトニングにより、下流の分類性能を最大3.9%向上させる。

ABSTRACT

This paper studies Principal Component Analysis (PCA) for data lying in hyperbolic spaces. Given directions, PCA relies on: (1) a parameterization of subspaces spanned by these directions, (2) a method of projection onto subspaces that preserves information in these directions, and (3) an objective to optimize, namely the variance explained by projections. We generalize each of these concepts to the hyperbolic space and propose HoroPCA, a method for hyperbolic dimensionality reduction. By focusing on the core problem of extracting principal directions, HoroPCA theoretically better preserves information in the original data such as distances, compared to previous generalizations of PCA. Empirically, we validate that HoroPCA outperforms existing dimensionality reduction methods, significantly reducing error in distance preservation. As a data whitening method, it improves downstream classification by up to 3.9% compared to methods that don't use whitening. Finally, we show that HoroPCA can be used to visualize hyperbolic data in two dimensions.

研究の動機と目的

• 従来のユークリッドPCAが幾何的制約により失敗する双曲空間への主成分分析（PCA）の一般化を目的とする。
• 測地線への射影と基点依存性に起因する不安定性と情報損失を抱える既存の双曲次元削減手法の問題を解決することを目的とする。
• 内在的な双曲距離と主方向に沿った分散を保存する手法を開発し、位置に依存しないかつ情報損失のない射影を実現することを目的とする。
• 階層的データの低次元双曲空間における効果的なホワイトニングと可視化を可能にすることを目的とする。
• 既存のPCA一般化（PGA や BSA など）の理論的裏付けが強く、計算効率の良い代替手法を提供することを目的とする。

提案手法

• 理想点（無限遠点）を用いて双曲部分空間をパrameter化し、ユークリッドPCAに類似した入れ子構造のアフィン部分空間（フラッグ）を実現する。
• 距離から理想点への距離を保存し、射影点間の等長関係を維持する新しい射影メカニズムとして水平超曲面への射影を導入する。
• 双曲空間における直交補空間の一般化としての水平超曲面を用い、Poincaré球モデルにおけるK個の水平超曲面の交点を用いて補完的方向を定義し、射影を計算する。
• Fréchet分散を用いて双曲空間内での説明される分散の距離に基づく指標を計算し、主成分の選択を最適化する。
• ハイパーパラメータの交差を直接解くことなく、ハイパーサーフェス上の反復的幾何操作を用いて、双曲面モデルおよびPoincaré球モデルで効率的にアルゴリズムを実装する。
• 実データおよび合成データ（WordNetのPoincaré埋め込みとPyTorch埋め込みを含む）を用い、次元削減および可視化のための手法適用を実施する。

実験結果

リサーチクエスチョン

• RQ1 測地線への射影よりも、主方向に沿った距離と情報をより効果的に保存できる双曲幾何におけるPCAの一般化を定式化できるか？
• RQ2 基点の選択が、既存の双曲PCA手法の安定性と性能に与える影響は何か？ その依存性は排除可能か？
• RQ3 低次元および高次元の双曲空間において、水平超曲面への射影は測地線への射影と比較して、双曲距離をどの程度正確に保存するか？
• RQ4 HoroPCAは、PGA、BSA、hMDS、およびオートエンコーダーといった既存手法よりも、次元削減時の距離構造をよりよく保存するか？
• RQ5 HoroPCAは、双曲埋め込みの下流分類精度を向上させる有効なデータホワイトニング手法として機能できるか？

主な発見

• 疾患およびCS博士課程データセットの50次元PyTorch埋め込みにおいて、HoroPCAは平均歪みを0.078にまで低減し、PGA（0.534）およびBSA（0.532）を著しく上回る。
• 合成データにおいて、水平超曲面への射影は測地線への射影よりも顕著に低い平均歪みを達成し、優れた距離保存性を確認した。
• 非ホワイトニング手法と比較して、HoroPCAは分類精度を最大3.9%向上させ、有効なデータホワイトニング手法としての有効性を示した。
• WordNet哺乳類サブツリー埋め込みの例では、HoroPCAが階層的構造を保持したまま、2次元への効果的な可視化を可能にした。
• HoroPCAは位置不変性を維持する：測地線に基づく手法とは異なり、直交方向への平行移動に依存しない。
• アルゴリズムは計算的に効率的であり、Poincaré球モデルにおけるハイパーサーフェスの反復的交点を用いて水平超曲面への射影を計算し、高次元交差の直接解法を回避する。