[論文レビュー] Universal Approximation Theorems for Differentiable Geometric Deep Learning

Anastasis Kratsios, Leonie Papon|arXiv (Cornell University)|Jan 13, 2021

3D Shape Modeling and Analysis参考文献 66被引用数 7

ひとこと要約

本稿は、リーマン多様体上の微分可能な幾何学的ディープラーニング（GDL）モデルに対して、普遍近似定理を確立し、フィードフォワードGDLアーキテクチャが、コンpact多様体間の任意の連続関数を一様近似可能であることを証明する。主な貢献は、近似が可能な入力集合の最大直径に対する曲率依存の下界、深さの上限、および次元の呪いを回避するデータに依存する条件であり、これらはすべて現実世界の有限データセットおよび滑らかな目的関数に対して有効である。

ABSTRACT

This paper addresses the growing need to process non-Euclidean data, by introducing a geometric deep learning (GDL) framework for building universal feedforward-type models compatible with differentiable manifold geometries. We show that our GDL models can approximate any continuous target function uniformly on compact sets of a controlled maximum diameter. We obtain curvature-dependent lower-bounds on this maximum diameter and upper-bounds on the depth of our approximating GDL models. Conversely, we find that there is always a continuous function between any two non-degenerate compact manifolds that any "locally-defined" GDL model cannot uniformly approximate. Our last main result identifies data-dependent conditions guaranteeing that the GDL model implementing our approximation breaks "the curse of dimensionality." We find that any "real-world" (i.e. finite) dataset always satisfies our condition and, conversely, any dataset satisfies our requirement if the target function is smooth. As applications, we confirm the universal approximation capabilities of the following GDL models: Ganea et al. (2018)'s hyperbolic feedforward networks, the architecture implementing Krishnan et al. (2015)'s deep Kalman-Filter, and deep softmax classifiers. We build universal extensions/variants of: the SPD-matrix regressor of Meyer et al. (2011), and Fletcher (2003)'s Procrustean regressor. In the Euclidean setting, our results imply a quantitative version of Kidger and Lyons (2020)'s approximation theorem and a data-dependent version of Yarotsky and Zhevnerchuk (2019)'s uncursed approximation rates.

研究の動機と目的

• 任意のリーマン多様体上で微分可能な幾何的ディープラーニング（GDL）における普遍近似の一般的で自己完結的なフレームワークを構築すること。
• 既存のGDLモデルが非ユークリッド幾何に失敗するグローバルなユークリッド線形化に依存しているという限界に対処すること。
• 多様体の曲率および入力集合の直径に依存する近似誤差とモデルの深さに関する定量的境界を提供すること。
• GDLモデルが次元の呪いを回避するデータに依存する条件を同定すること。
• ハイパーボリックネットワーク、ディープカルマンフィルタ、SPD行列回帰器を含む、既存のGDLアーキテクチャに対してフレームワークを検証すること。

提案手法

• 特徴マップφとリードアウトマップρが局所的チャートごとに変化する局所的リフトフレームワークを提案し、グローバル線形化の代わりに局所微分同相写像を導入する。
• 局所写像の合成を用いる：φα : Uα → Rp、g : Rp → Rm（普遍的なユークリッドネットワーク）、ρζ : Rm → Y とし、f̂ = ρζ⁻¹ ∘ g ∘ φα を形成する。
• ホモトピー理論を用いて、局所的に定義されたGDLモデルは、定数関数にホモトープでない関数を近似できないことを示し、位相的障害を確立する。
• 曲率に依存する下界を導出し、一様近似が可能なコンパクトな入力集合の最大直径を保証する。
• 近似速度が次元に依存しないことを保証するデータ効率性条件を導入し、すべての有限の現実世界のデータセットおよびすべての滑らかな目的関数に対して成り立つことを証明する。
• 単体的ホモロジーおよびホイッチャー同型を含む代数的位相幾何の道具を用いて、非自明ホモトピークラスの写像の非近似可能性を証明する。

実験結果

リサーチクエスチョン

• RQ1 局所的なユークリッドネットワークから構築されたGDLモデルは、非退化なコンパクト多様体間の任意の連続関数を普遍的に近似可能か？
• RQ2 普遍近似が達成可能な入力集合のサイズ（直径）に対する曲率依存の制約は何か？
• RQ3 なぜ局所的に定義されたGDLモデルは特定の連続関数を近似できないのか？この失敗を説明する位相的性質は何か？
• RQ4 どのようなデータに依存する条件下でGDLモデルは近似において次元の呪いを回避できるか？
• RQ5 提案されたフレームワークは、ハイパーボリックネットワークやディープカルマンフィルタなどの既存のGDLアーキテクチャの普遍近似能力を検証できるか？

主な発見

• 定数関数にホモトープでない非退化なコンパクト多様体間の連続関数 f : X → Y は、いかなる局所的に定義されたGDLモデルでも一様近似不可能である。
• 普遍近似が可能なコンパクトな入力集合 X の最大直径は、曲率に依存する下界によって保証され、近似に幾何的制約が生じることを示す。
• 近似するGDLモデルの深さは、目標となる近似誤差および入力多様体の曲率に依存する関数によって上界で制限される。
• すべての有限の現実世界のデータセットは、次元に依存しない近似速度を保証するデータ効率性条件を満たしている。非滑らかな目的関数に対しても同様に成り立つ。
• 滑らかな目的関数に対しては、すべてのデータセットがデータ効率性条件を満たすため、深層学習モデルはこのような設定で次元の呪いを回避することが示唆される。
• フレームワークは、ハイパーボリックフィードフォワードネットワーク、ディープカルマンフィルタ、およびディープソフトマックス分類器の普遍近似能力を確認し、SPD行列およびプロクラステアン回帰器に対しても普遍的な拡張を提供する。