[論文レビュー] Fully Hyperbolic Neural Networks

Weize Chen, Xu Han+6 more|arXiv (Cornell University)|May 31, 2021

Neural Networks and Applications被引用数 13

ひとこと要約

本稿では、ローレンツモデルに基づく完全に双曲的なニューラルネットワークフレームワークを提案する。ローレンツ変換（ブーストと回転）を用いて、不安定な接空間への写像を回避する双曲空間内でのニューラル演算を形式化する。この手法は、既存のハイブリッド双曲ネットワークよりも優れた性能と安定性を達成しており、特に自然言語処理タスクにおける階層構造のモデリングにおいて顕著である。

ABSTRACT

Hyperbolic neural networks have shown great potential for modeling complex data. However, existing hyperbolic networks are not completely hyperbolic, as they encode features in a hyperbolic space yet formalize most of their operations in the tangent space (a Euclidean subspace) at the origin of the hyperbolic space. This hybrid method greatly limits the modeling ability of networks. In this paper, we propose a fully hyperbolic framework to build hyperbolic networks based on the Lorentz model by adapting the Lorentz transformations (including boost and rotation) to formalize essential operations of neural networks. Moreover, we also prove that linear transformation in tangent spaces used by existing hyperbolic networks is a relaxation of the Lorentz rotation and does not include the boost, implicitly limiting the capabilities of existing hyperbolic networks. The experimental results on four NLP tasks show that our method has better performance for building both shallow and deep networks. Our code will be released to facilitate follow-up research.

研究の動機と目的

• 既存の双曲的ニューラルネットワークが接空間に依存するという制限を解消し、モデリング能力を制限する要因を除去すること。
• ローレンツ変換を用いて双曲空間内に直接ニューラル演算を形式化する完全な双曲的フレームワークを構築すること。
• 従来の接空間における線形変換がローレンツ回転の緩められた形であり、より表現力の高いローレンツブーストを排除していることを証明すること。
• ユークリッド空間およびハイブリッド双曲ベースラインと比較して、下流の自然言語処理タスクにおける性能、速度、安定性の向上を示すこと。
• 現在の双曲的ニューラルネットワークアーキテクチャに対する理論的根拠が強く、数値的に安定した代替手法を提供すること。

提案手法

• 数値的安定性と簡単な指数関数・対数関数写像を持つことから、双曲空間の基盤としてローレンツモデルを採用する。
• 接空間演算をローレンツ変換（特にローレンツブーストと回転）に置き換え、完全な双曲的線形層およびアテンション層を実現する。
• 完全な双曲的ニューラルネットワークのコア演算としてローレンツ変換を導出し、実装することで、すべての計算を双曲空間内に保つ。
• 原点における接空間内の線形演算がローレンツ回転の制限された形であり、ブースト成分を欠いているため表現力が制限されることを証明する。
• アテンション層およびフィードフォワード層にローレンツ変換を適用する完全な双曲的トランスフォーマー変種（HyboNet）を設計する。
• 幾何的整合性を維持するために、距離を保存する等長写像を用いて双曲空間内での演算の一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 接空間への写像に依存せずに、ニューラルネットワーク演算を完全に双曲空間内で形式化できるか？
• RQ2 従来の双曲ネットワークに欠けていたローレンツブーストの導入が、モデルの表現力と性能にどのように影響するか？
• RQ3 ハイブリッドまたはユークリッドベースラインと比較して、完全な双曲的フレームワークは階層的自然言語処理タスクにおける安定性、収束速度、パフォーマンスを向上させるか？
• RQ4 ローレンツ変換は、接空間線形演算に比べて、階層的データ構造をどれほど効果的に捉えることができるか？
• RQ5 完全な双曲的ネットワークは、知識グラフ埋め込み、エンティティタイプ指定、依存解析など、多様な自然言語処理タスクに一般化可能か？

主な発見

• 提案された完全な双曲的ネットワークであるHyboNetは、知識グラフ埋め込みや依存木プロービングを含む4つの自然言語処理タスクで、ユークリッドおよびハイブリッド双曲ベースラインを上回る性能を示した。
• IWSLT’14における依存木プロービングでは、HyboNetはUUAS 0.59、Dspr. 0.70を達成し、HAtt（UUAS: 0.50、Dspr.: 0.64）およびユークリッドトランスフォーマーを顕著に上回った。
• 依存解析ではRoot%が64を記録し、構文的根の予測性能が優れていることを示した。
• ハイブリッド双曲ネットワークが高コストの対数関数および指数関数写像に依存するのに対し、HyboNetは収束が良く、訓練が高速であった。
• アブレーションスタディにより、ローレンツブーストが不可欠であることが確認され、その欠如がモデリング能力を制限していることが示された。
• 高い性能を達成したが、ユークリッドネットワークよりも遅く、浮動小数点誤差のため半精度学習が不可能であるため、精度と効率のトレードオフが生じている。