[論文レビュー] Hyperbolic Representation Learning: Revisiting and Advancing

Meng‐Lin Yang, Min Zhou+3 more|arXiv (Cornell University)|Jun 15, 2023

Human Motion and Animation被引用数 6

ひとこと要約

本稿では、ハイパーボリック距離原点（HDO）を階層構造のコストフリーなプロキシとして活用することで、ハイパーボリック表現学習を向上させるモデル・タスクに依存しない手法であるHyperbolic Informed Embedding（HIE）を提案する。HIEは根ノードを原点に一致させ、段階に応じたストレッチを適用することで、既存のモデルを向上させ、下流タスクで最大21.4%の精度向上を達成する。

ABSTRACT

The non-Euclidean geometry of hyperbolic spaces has recently garnered considerable attention in the realm of representation learning. Current endeavors in hyperbolic representation largely presuppose that the underlying hierarchies can be automatically inferred and preserved through the adaptive optimization process. This assumption, however, is questionable and requires further validation. In this work, we first introduce a position-tracking mechanism to scrutinize existing prevalent \hlms, revealing that the learned representations are sub-optimal and unsatisfactory. To address this, we propose a simple yet effective method, hyperbolic informed embedding (HIE), by incorporating cost-free hierarchical information deduced from the hyperbolic distance of the node to origin (i.e., induced hyperbolic norm) to advance existing \hlms. The proposed method HIE is both task-agnostic and model-agnostic, enabling its seamless integration with a broad spectrum of models and tasks. Extensive experiments across various models and different tasks demonstrate the versatility and adaptability of the proposed method. Remarkably, our method achieves a remarkable improvement of up to 21.4\% compared to the competing baselines.

研究の動機と目的

• 現在のハイパーボリックモデルが、学習された表現において階層構造を効果的に保持できるかどうかを調査すること。
• ハイパーボリック空間における根ノードと葉ノードの位置が適切に配置されていない既存のハイパーボリックモデルの欠陥を特定すること。
• モデルアーキテクチャを変更せずに階層学習を向上させる軽量で汎用性の高い手法を開発すること。
• データの内在的階層性を示すプロキシとして、ハイパーボリック距離原点（HDO）が有効であるかを検証すること。

提案手法

• 学習済み埋め込みの空間的分布を分析するための位置追跡メカニズムを導入し、不適切なノード配置が顕在化されることを明らかにする。
• ハイパーボリックインフォームド埋め込み（HIE）を提案する。2段階の手法であり、HDOの最小化による根の一致と、階層レベルに基づくレベルに応じたストレッチが特徴である。
• 原点からのハイパーボリックノルム（距離）を、階層的深さのコストフリーな指標として用い、根ノードと葉ノードの自動特定を可能にする。
• HIEを後処理またはトレーニング時の正則化ステップとして適用可能であり、任意のハイパーボリックモデルおよびタスクと互換性を持つ。
• 原点が根を表し、ノルムが増加するにつれて階層的深さが増すPoincaréボールモデルを幾何的基盤として用いる。
• HGCN、HNN、ハイパーボリックGNNなど既存のモデルにHIEを容易に統合可能であり、パラメータ追加やアーキテクチャ変更なしに実装可能である。

Figure 1: Illustration of an optimal embedding in hyperbolic space that preserves the local dependencies while maintaining a hierarchical relationships of the entities. Left: A tree-like graph. Right: Hyperbolic embedding of the tree-like graph.

実験結果

リサーチクエスチョン

• RQ1 現在のハイパーボリックモデルは、学習済み表現においてデータの真の階層構造をどの程度効果的に保持できるか？
• RQ2 ハイパーボリック原点からの距離（HDO）は、ハイパーボリック埋め込みにおける階層レベルを特定するための信頼性があり効果的なプロキシとして機能するか？
• RQ3 HDOを用いた根の一致とレベルに応じたストレッチを強制することで、多様なモデルとタスクにおいて下流性能が顕著に向上するか？
• RQ4 根ノードの特定に用いる代替の中心性指標（例：次数、媒介性、近接性）と比較して、HIEはどのように優れているか？

主な発見

• 既存のハイパーボリックモデルは、根ノードと葉ノードの位置を適切に配置できていず、学習済み埋め込みにおいて顕著なずれが観察された。
• HIEは、複数のデータセットとモデルにおいて、最先端のベースラインと比較して最大21.4%の性能向上を達成した。
• アブレーションスタディにより、根の一致とレベルに応じたストレッチの両方が不可欠であることが確認され、いずれかのコンponentを除去すると性能が低下した。
• HDOに基づくHC（HDOベース）は、次数、媒介性、近接性中心性といった代替指標を上回り、最も一貫した向上を示した。
• 階層性が弱いデータセット（例：DiseaseやAirport）に対しても、HIEは有効であり、性能向上が見られた。
• Cora、Citeseer、Disease、Airportのノード分類タスクにおいて、HIEは一貫した向上を示し、Citeseerでは8.8%、Coraでは9.0%の向上を達成した。

Figure 3: Illustration of the basic idea of HIE, which can be decomposed into two critical steps: root alignment and level-aware stretching.