[論文レビュー] Hyperbolic Neural Networks

Octavian-Eugen Ganea, Gary Bécigneul+1 more|arXiv (Cornell University)|May 23, 2018

Topological and Geometric Data Analysis参考文献 17被引用数 36

ひとこと要約

この論文は、双曲幾何のポアンカレ球モデルに一般化された、原則的で洗練されたフレームワークである双曲ニューラルネットワーク（HNNs）を導入する。HNNsは、多項ロジスティック回帰、順方向伝搬、ゲート付き再帰的ネットワークといった主要なディープラーニングコンponentsを、双曲空間に一般化する。モビウスのギャロベクトル空間とリーマン幾何学を組み合わせることで、双曲空間内での有効な学習が可能となり、階層的NLPタスク（例：テキスト帰属関係の推論、ノイズを含む接頭語認識）において、次世代の性能を達成した。低次元埋め込みでも、ユークリッド空間の同等手法を上回る性能を示した。

ABSTRACT

Hyperbolic spaces have recently gained momentum in the context of machine learning due to their high capacity and tree-likeliness properties. However, the representational power of hyperbolic geometry is not yet on par with Euclidean geometry, mostly because of the absence of corresponding hyperbolic neural network layers. This makes it hard to use hyperbolic embeddings in downstream tasks. Here, we bridge this gap in a principled manner by combining the formalism of Möbius gyrovector spaces with the Riemannian geometry of the Poincaré model of hyperbolic spaces. As a result, we derive hyperbolic versions of important deep learning tools: multinomial logistic regression, feed-forward and recurrent neural networks such as gated recurrent units. This allows to embed sequential data and perform classification in the hyperbolic space. Empirically, we show that, even if hyperbolic optimization tools are limited, hyperbolic sentence embeddings either outperform or are on par with their Euclidean variants on textual entailment and noisy-prefix recognition tasks.

研究の動機と目的

• 双曲幾何に向けた原則的で洗練されたディープラーニングツールの不足を解消し、その結果、下流タスクにおける双曲埋め込みの利用を制限する要因を除去すること。
• 標準的なニューラルネットワーク層を一定負曲率空間に一般化することで、ユークリッド空間と双曲空間の間のギャップを埋めること。
• 階層的で木構造のデータ（例：テキスト帰属関係、知識グラフ）を双曲空間内で効果的に表現・分類できることを可能にすること。
• 実験的に、双曲ニューラルネットワークが、順序付きで階層的な構造を持つデータにおいて、ユークリッド空間の同等手法を上回るか同等の性能を発揮することを示すこと。

提案手法

• ニューラルネットワークの演算に、双曲空間のポアンカレ球モデルをリーマン多様体として用いる。
• 双曲空間におけるベクトル演算（加法およびスカラー乗法）を一般化するために、モビウスのギャロベクトル空間の形式的枠組みを適用する。
• 多項ロジスティック回帰、順方向伝搬ネットワーク、ゲート付き再帰ユニット（GRUs）といった標準的なディープラーニング層の双曲版を導出する。
• 曲率依存のパrameterizationを用いて、ユークリッド空間と双曲空間を統一的に扱うリーマン最適化（RSGD）を用いて最適化を行う。
• ユークリッドモデルとの比較のため、双曲埋め込みを接空間に射影するために対数写像（log₀）を用いる。
• 曲率パラメータによる連続的変形を可能にする統一されたフレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 多項ロジスティック回帰やRNNといった標準的なディープラーニングコンponentsを、原則的かつ一貫性を持って双曲幾何に一般化できるか？
• RQ2 階層的で順序付きのデータに対して、双曲ニューラルネットワークはユークリッド空間の同等手法に比べてどのように性能を発揮するか？
• RQ3 双曲空間の内在的な幾何構造を保ったまま学習することで、木構造のデータに対して分類性能が向上するか？
• RQ4 低次元の双曲埋め込みは、自然言語や知識グラフにおける階層的構造を効果的に捉えることができるか？
• RQ5 双曲学習において、リーマン最適化と接空間への射影の両者を比較した場合、それぞれにどのような影響があるか？

主な発見

• WordNetのテキスト帰属関係タスクにおいて、双曲MLRは10次元埋め込みでテストF1スコア99.26％を達成し、最良のユークリッドバージョン（接空間射影を用いた99.36％）を上回り、直接的なユークリッドマッピングを著しく上回った。
• 'worker.n.01'の部分木において、双曲MLRは10D埋め込みで91.91％のF1スコアを達成したが、最良のユークリッドベースライン（log₀マッピングを用いた）は91.41％にとどまり、高階層設定において一貫した優位性を示した。
• 'mammal.n.01'の部分木では、双曲MLRが10D埋め込みで91.37％のF1スコアを達成したのに対し、最良のユークリッドモデル（接空間射影を用いた）は77.76％にとどまり、顕著な性能向上が確認された。
• 'animal.n.01'の部分木では、双曲MLRが10D埋め込みで99.26％のF1スコアを達成し、log₀+ユークリッドベースラインの98.27％を上回った。これは、大規模で深く階層的な構造においても、安定した性能向上が得られることを示している。
• 双曲GRUモデルは、ノイズを含む接頭語認識タスクにおいて優れた性能を示し、双曲空間内でのRNNが、隠れた階層的構造を持つ順序付きデータを効果的にモデル化できることを示した。
• 可視化結果から、双曲幾何はユークリッド射影よりも階層的クラスタリングをより良く保持しており、測地線の意思決定境界がデータの木構造と自然に一致していることが確認された。