[論文レビュー] The Numerical Stability of Hyperbolic Representation Learning

Gal Mishne, Zhengchao Wan+2 more|arXiv (Cornell University)|Oct 31, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本稿は、64ビット浮動小数点演算における双曲的表現学習における数値的不安定性の問題を特定し、特にポアンカレ球およびローレンツモデルにおいてその問題を指摘している。本稿では、表現および最適化の制限を解消する双曲空間のユークリッドパラメータライゼーションを提案し、既存のモデルと比較してハイパーサポートベクター機械およびツリー埋め込みタスクにおいて優れた性能を示している。

ABSTRACT

Given the exponential growth of the volume of the ball w.r.t. its radius, the hyperbolic space is capable of embedding trees with arbitrarily small distortion and hence has received wide attention for representing hierarchical datasets. However, this exponential growth property comes at a price of numerical instability such that training hyperbolic learning models will sometimes lead to catastrophic NaN problems, encountering unrepresentable values in floating point arithmetic. In this work, we carefully analyze the limitation of two popular models for the hyperbolic space, namely, the Poincaré ball and the Lorentz model. We first show that, under the 64 bit arithmetic system, the Poincaré ball has a relatively larger capacity than the Lorentz model for correctly representing points. Then, we theoretically validate the superiority of the Lorentz model over the Poincaré ball from the perspective of optimization. Given the numerical limitations of both models, we identify one Euclidean parametrization of the hyperbolic space which can alleviate these limitations. We further extend this Euclidean parametrization to hyperbolic hyperplanes and exhibits its ability in improving the performance of hyperbolic SVM.

研究の動機と目的

• 64ビット浮動小数点演算におけるポアンカレ球およびローレンツモデルの数値的安定性の制限を分析すること。
• これらのモデルの最適化行動を理論的に比較し、勾配消失の観点から分析すること。
• 既存モデルにおける表現および最適化の問題を克服する双曲空間のユークリッドパラメータライゼーションを提案すること。
• ハイパーサポートベクター機械および階層的データ埋め込みといった実用的応用において、新しいパラメータライゼーションを検証すること。

提案手法

• 本稿は、64ビット浮動小数点精度下でのポアンカレ球およびローレンツモデルにおける表現能力について幾何的分析を実施している。
• 勾配ダイナミクスの理論的分析を提供し、ローレンツモデルがポアンカレモデルよりも勾配消失に弱くないことを示している。
• ポアンカレモデルおよびローレンツモデルに内在する数値的オーバーフローおよびアンダーフロー問題を回避する、新しい双曲空間のユークリッドパラメータライゼーションを導入している。
• この方法は、ハイパーサポートベクター機械のような構造的予測タスクで使用可能なように、双曲的超平面に対してもユークリッドパラメータライゼーションを拡張している。
• 提案されたLSVMPPモデルは、ユークリッドパラメータライゼーションをハイパーサポートベクター機械に適用し、arcshin変換とプラット・スケーリングを用いて確率のキャリブレーションを向上させている。
• 実験では、シミュレートデータおよび実データセット上でLSVMPPをローレンツSVM、ユークリッドSVM、およびポアンカレベースのSVMと比較し、一貫した訓練および評価プロトコルを用いている。

実験結果

リサーチクエスチョン

• RQ1 64ビット浮動小数点演算下でのポアンカレ球およびローレンツモデルの数値的表現限界は何か？
• RQ2 ポアンカレモデルと同等の表現能力を持つにもかかわらず、なぜローレンツモデルは最適化において実験的に優れているのか？
• RQ3 双曲空間のユークリッドパラメータライゼーションは、数値的不安定性を解消するとともに最適化の利点を維持できるか？
• RQ4 提案されたパラメータライゼーションは、ハイパーサポートベクター機械およびツリー埋め込みタスクにおける性能をどのように向上させるか？
• RQ5 ユークリッドパラメータライゼーションは、階層的データ表現において、既存の双曲的モデルよりも優れた一般化性能を実現できるか？

主な発見

• ポアンカレ球モデルは、オーバーフローを防ぐために有界であるという性質のおかげで、64ビット算術下でローレンツモデルよりも高い表現能力を有する。
• ローレンツモデルは、勾配消失が少ないという点で優れた最適化行動を示し、本稿ではその理論的裏付けが与えられている。
• 提案されたユークリッドパラメータライゼーションは、ポアンカレモデルおよびローレンツモデルに内在する数値的不安定性の問題を完全に解消している。
• ユークリッドパラメータライゼーションに基づくハイパーサポートベクター機械であるLSVMPPは、CIFAR-10で平均91.96%の正答率および0.9197のF1スコアを達成し、すべてのベースラインを上回っている。
• Fashion-MNISTでは、LSVMPPは89.49%の正答率および0.8955のF1スコアを達成し、ローレンツSVM（71.59%の正答率）を著しく上回っており、階層的データにおけるロバストネスが示された。
• ユークリッドパラメータライゼーションは、ハイパーサポートベクター機械の学習プロセスとは独立して不適切な基準点選択に起因する問題を回避でき、安定した学習と優れた性能を実現している。