[論文レビュー] Gradient descent in hyperbolic space

Benjamin J. Wilson, Matthias Leimeister|arXiv (Cornell University)|May 18, 2018

Advanced Numerical Analysis Techniques参考文献 11被引用数 25

ひとこと要約

この論文は、双曲空間における勾配降下法が、双曲面モデルを用いることで単純かつ効率的に行えることを示している。これにより、基本的な双曲関数を用いて正確な指数写像更新が可能になる。また、Fréchet平均を計算する際、双曲面モデルにおける指数更新は、ポアンカレ球モデルにおける再構成に基づく近似法と比較して平均して46%速い収束を示した。

ABSTRACT

Gradient descent generalises naturally to Riemannian manifolds, and to hyperbolic $n$-space, in particular. Namely, having calculated the gradient at the point on the manifold representing the model parameters, the updated point is obtained by travelling along the geodesic passing in the direction of the gradient. Some recent works employing optimisation in hyperbolic space have not attempted this procedure, however, employing instead various approximations to avoid a calculation that was considered to be too complicated. In this tutorial, we demonstrate that in the hyperboloid model of hyperbolic space, the necessary calculations to perform gradient descent are in fact straight-forward. The advantages of the approach are then both illustrated and quantified for the optimisation problem of computing the Fréchet mean (i.e. barycentre) of points in hyperbolic space.

研究の動機と目的

• 双曲空間における勾配降下法が、双曲面モデルを用いることで計算的に実行可能で効率的に行えることを示すこと。
• 再構成に基づく近似を用いるポアンカレ球モデルの広範な使用を疑問視し、避けられる不正確さを生じさせること。
• 双曲最適化における正確な指数写像更新と近似された再構成手法の間の性能格差を定量化すること。
• 双曲空間におけるリーマン幾何学的最適化の実用的で数学的に整合性のあるフレームワークを、双曲面モデルを用いて提供すること。

提案手法

• 双曲 $n$-次元空間をミンコフスキー空間内の超二次曲面として埋め込む双曲面モデルを用いる。
• 標準的なリーマン幾何学を用いて、双曲面における距離関数の勾配を計算し、$\cosh$ と $\sinh$ を含む閉形式の表現を得る。
• 双曲関数を用いて接ベクトルを測地線の流れに写像する指数写像を用いて、正確な勾配更新を実行する。
• 双曲面モデルにおける指数更新と、ポアンカレ球モデルにおける再構成に基づく更新を比較する。
• 半径 $r_{\text{max}}$ の円板内に一様な乱数点を生成するために、逆変換サンプリングを用いる。
• 固定学習率を用い、Fréchet平均からの距離が $10^{-4}$ 以内に収束するまでのステップ数を数えることで収束速度を測定する。

実験結果

リサーチクエスチョン

• RQ1 双曲面モデルを用いた正確なリーマン勾配降下法は、双曲空間において効率的に実装可能だろうか？
• RQ2 双曲面モデルにおける指数写像更新の収束速度は、ポアンカレ球モデルにおける再構成に基づく手法と比べてどの程度異なるか？
• RQ3 Fréchet平均を計算する際の収束までのステップ数という観点から、定量的な性能差は何か？
• RQ4 なぜ、先行研究においても人気が高かろうが、ポアンカレ球モデルにおける近似の使用は非効率的なのか？
• RQ5 双曲面モデルの計算的単純さは、双曲最適化においてポアンカレ球モデルを上回る採用を正当化するのに十分だろうか？

主な発見

• 双曲面モデルにおける勾配降下法は、ユークリッド幾何学や球面幾何学と同様に単純である。距離関数および勾配関数の閉形式表現が存在する。
• 双曲面モデルにおける指数写像更新は、基本的な双曲関数（$\cosh$、$\sinh$）のみを必要とし、実装が単純かつ効率的である。
• 最適な学習率を用いた場合、双曲面モデルにおける指数更新はFréchet平均に収束するまで平均7.2ステップで完了するが、再構成更新では12.8ステップを要する。
• 最適な学習率で、指数法は再構成法が同様に最適化された場合と比較して、95.5%の試行で解の近傍に到達する。
• 収束曲線の勾配解析により確認されたように、指数法は再構成法と比較して約46%少ない勾配更新ステップで収束に到達する。
• ポアンカレ球モデルにおける再構成更新は、双曲面モデルにおける正確な指数写像更新と比較して、顕著で避けられる不正確さを生じさせる。