[論文レビュー] Ultrahyperbolic Representation Learning

Marc T. Law, Jos Stam|arXiv (Cornell University)|Jul 1, 2020

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、非ゼロの定数曲率を持つ擬リーマン多様体上での新しい表現学習フレームワークを導入し、不定計量を許容することで、双曲的および球面幾何を一般化する。閉形式の測地線距離と最適化のための降下方向を提供し、非ユークリッド空間における有効なグラフ表現学習を可能にする。

ABSTRACT

In machine learning, data is usually represented in a (flat) Euclidean space where distances between points are along straight lines. Researchers have recently considered more exotic (non-Euclidean) Riemannian manifolds such as hyperbolic space which is well suited for tree-like data. In this paper, we propose a representation living on a pseudo-Riemannian manifold of constant nonzero curvature. It is a generalization of hyperbolic and spherical geometries where the nondegenerate metric tensor need not be positive definite. We provide the necessary learning tools in this geometry and extend gradient-based optimization techniques. More specifically, we provide closed-form expressions for distances via geodesics and define a descent direction to minimize some objective function. Our novel framework is applied to graph representations.

研究の動機と目的

• 不定計量テンソルを有する非ユークリッド多様体上での表現学習フレームワークの開発、双曲的および球面幾何を一般化すること。
• 目的関数を最小化するための降下方向を定義することで、この幾何における勾配ベース最適化を可能にすること。
• 提案された多様体における測地線距離の閉形式表現を提供し、効率的な学習を支援すること。
• フレームワークをグラフ表現学習に適用し、構造化データにおける実用性を実証すること。

提案手法

• 本論文は、計量テンソルが非退化ではあるが正定値ではない定数非ゼロ曲率を持つ擬リーマン多様体を提案する。
• 多様体の内在的幾何を用いて、測地線距離の閉形式表現を導出する。
• 不定計量へのリーマン最適化の一般化により、最適化における収束を保証する降下方向を定義する。
• 標準的な最適化手法（例：勾配降下法）を、正定値でない設定へと拡張する。
• ノードを超双曲空間に埋め込むことで、グラフ構造データの表現学習を支援する。
• 曲率の影響を扱い、トレーニング中の数値安定性を維持するための理論的ツールを開発する。

実験結果

リサーチクエスチョン

• RQ1 不定計量テンソルを有する非ユークリッド多様体は、グラフ構造データのための有効な表現学習を可能にするか？
• RQ2 定数非ゼロ曲率の擬リーマン多様体における測地線距離は、どのように計算できるか？
• RQ3 正定値でない幾何における最適化を可能にするために、どのような降下方向を定義できるか？
• RQ4 提案されたフレームワークは、既存の双曲的およびユークリッドベースラインと比較して、グラフ表現タスクでどのように性能を発揮するか？
• RQ5 曲率と符号（signature）は、学習された表現の表現力および一般化性能にどのような影響を与えるか？

主な発見

• 提案されたフレームワークにより、定数非ゼロ曲率を持つ擬リーマン多様体上での表現学習が可能になり、双曲的および球面幾何を一般化する。
• 測地線距離の閉形式表現が導出され、多様体内での内在的距離の効率的計算が可能になる。
• 不定計量テンソルがあるにもかかわらず、勾配ベース最適化を可能にする降下方向が定義される。
• 基礎となる幾何の曲率と符号を活用することで、本手法はグラフ表現を効果的に学習する。
• 正定値リーマン多様体を超える非ユークリッド表現学習の統一的幾何的基盤を提供する。