[論文レビュー] Tree! I am no Tree! I am a Low Dimensional Hyperbolic Embedding

Rishi Sonthalia, Anna C. Gilbert|arXiv (Cornell University)|May 8, 2020

Topological and Geometric Data Analysis参考文献 33被引用数 5

ひとこと要約

この論文では、$δ$-超曲率距離から低次元の双曲埋め込みを可能にする高速なメトリック最優先アルゴリズムであるTreeRepを提案する。$δ=0$のとき正確に元のメトリックを再構築できる木構造を構築することで、従来の双曲埋め込み手法に比べて10,000倍以上の高速化を達成し、平均歪みは低く抑えられ、平均平均適合度は向上する。これにより、ゲノム、言語学、ソーシャルネットワーク分野の巨大データセットにおけるスケーラブルな階層的解析が可能になる。

ABSTRACT

Given data, finding a faithful low-dimensional hyperbolic embedding of the data is a key method by which we can extract hierarchical information or learn representative geometric features of the data. In this paper, we explore a new method for learning hyperbolic representations by taking a metric-first approach. Rather than determining the low-dimensional hyperbolic embedding directly, we learn a tree structure on the data. This tree structure can then be used directly to extract hierarchical information, embedded into a hyperbolic manifold using Sarkar's construction \cite{sarkar}, or used as a tree approximation of the original metric. To this end, we present a novel fast algorithm extsc{TreeRep} such that, given a $δ$-hyperbolic metric (for any $δ\geq 0$), the algorithm learns a tree structure that approximates the original metric. In the case when $δ= 0$, we show analytically that extsc{TreeRep} exactly recovers the original tree structure. We show empirically that extsc{TreeRep} is not only many orders of magnitude faster than previously known algorithms, but also produces metrics with lower average distortion and higher mean average precision than most previous algorithms for learning hyperbolic embeddings, extracting hierarchical information, and approximating metrics via tree metrics.

研究の動機と目的

• データの階層的構造を保持する低次元双曲埋め込みを学習するスケーラブルで効率的な手法の開発。
• 従来の非凸最適化に基づく双曲埋め込み手法に見られる幾何的保証の欠如と高い計算コストの問題の解決。
• 双曲空間への埋め込みの前にまず木構造を学習することで、より優れたメトリック忠実度とパフォーマンスが得られることの実証。
• $δ$-超曲率メトリックを木メトリックで近似する、解析的に裏付けられた高速なアルゴリズムの提供、特に$δ=0$のとき正確に近似可能。
• 従来の手法が計算制約により不可能だった、大規模データセット（例：シングルセルゲノム、ソーシャルネットワーク）における階層的解析の実現。

提案手法

• 直接双曲埋め込みを最適化する代わりに、入力の$δ$-超曲率メトリックを近似する木構造を学習するメトリック最優先のアプローチを採用。
• $δ$-超曲率の性質を示す四点条件を活用し、距離の三つ組に基づいてステインャー節点（木の内部節点）を再帰的に配置する幾何的知見を応用。
• 二つの再帰的領域を導入：領域1では、ステインャー節点に直接接続する節点を、ペアとの最大距離に基づいて配置。領域2では、辺の縮約を伴う再帰的精錬によって節点を処理。
• 三つのランダムな点を選択し、それらの間の距離を計算した後、グロモフ積を用いて新しいステインャー節点の最適な配置を特定する。
• スケーリングされた構造を保持するため、Sarkarの構成法を用いて得られた木を双曲空間に埋め込む。これにより階層的構造が維持され、後続の解析が可能になる。
• アルゴリズムは決定的であり、点の数とメトリックの超曲率パラメータ$δ$に依存する近線形時間で実行される。

実験結果

リサーチクエスチョン

• RQ1 双曲埋め込みの前に木構造を学習するメトリック最優先のアプローチは、直接最適化する手法に比べ、より優れたまたはより効率的な双曲表現をもたらすか？
• RQ2 特に$δ=0$のとき、木構造は$δ$-超曲率メトリックをどの程度正確に近似できるか？
• RQ3 TreeRepは、従来の木近似および双曲埋め込みアルゴリズムと比較して、どの程度の計算パフォーマンス向上を達成するか？
• RQ4 多様なデータセットにおいて、TreeRepは平均歪みと平均平均適合度の両面で最先端の手法を上回るか？
• RQ5 Enron（180,810ノード）やWordNet（75,834ノード）といった大規模データセットにおいて、TreeRepは従来の手法が実行時間制約で失敗する状況でもスケーラブルに動作するか？

主な発見

• δ=0のとき、TreeRepは元の木構造を正確に再構築でき、木近似メトリックに対する解析的正しさを裏付ける。
• δ>0のとき、TreeRepはSaitouとNei（0.336）やAbrahamら（Enronで0.607）と比較して顕著に低い平均歪み（例：Wordnetで0.131）を達成する。
• TreeRepは、最適化ベースの双曲埋め込み手法（例：NickelとKiela、Salaら）に比べ10,000倍以上高速であり、Celegan（2024ノード）では1秒未満、GRQC（13,422ノード）では10秒未塔で実行可能。
• Enronデータセット（180,810ノード）では、TreeRepは27秒で実行可能であるが、最適化ベース手法は計算時間の制約により実行不可能である。
• CS Phdでは0.380、Dieseasomeでは0.332の平均平均適合度を達成し、SaitouとNeiを上回り、他の木近似アルゴリズムと同等またはそれを上回る。
• アルゴリズムは効率的にスケーリング可能：Grid-worm（6,421ノード）では0.731秒で実行可能だが、他の手法は完了できないか、著しく遅い。