[논문 리뷰] Universal Approximation Theorems for Differentiable Geometric Deep Learning

Anastasis Kratsios, Leonie Papon|arXiv (Cornell University)|2021. 01. 13.

3D Shape Modeling and Analysis참고 문헌 66인용 수 7

한 줄 요약

이 논문은 리만 다양체 위에서 미분 가능한 기하학적 딥러닝(GDL) 모델에 대한 일반적인 근사 정리들을 수립하며, 피드포워드 GDL 아키텍처가 컴act 다양체 간의 임의의 연속 함수를 균일하게 근사할 수 있음을 증명한다. 주요 기여는 근사가 가능한 입력 집합의 최대 지름에 대한 곡률에 의존하는 하한, 깊이에 대한 하한, 그리고 차원의 저주를 피하는 데이터에 의존하는 조건을 제안하는 것으로, 이는 모든 실제 유한 데이터셋과 매끄러운 목표 함수에 대해 유효하다.

ABSTRACT

This paper addresses the growing need to process non-Euclidean data, by introducing a geometric deep learning (GDL) framework for building universal feedforward-type models compatible with differentiable manifold geometries. We show that our GDL models can approximate any continuous target function uniformly on compact sets of a controlled maximum diameter. We obtain curvature-dependent lower-bounds on this maximum diameter and upper-bounds on the depth of our approximating GDL models. Conversely, we find that there is always a continuous function between any two non-degenerate compact manifolds that any "locally-defined" GDL model cannot uniformly approximate. Our last main result identifies data-dependent conditions guaranteeing that the GDL model implementing our approximation breaks "the curse of dimensionality." We find that any "real-world" (i.e. finite) dataset always satisfies our condition and, conversely, any dataset satisfies our requirement if the target function is smooth. As applications, we confirm the universal approximation capabilities of the following GDL models: Ganea et al. (2018)'s hyperbolic feedforward networks, the architecture implementing Krishnan et al. (2015)'s deep Kalman-Filter, and deep softmax classifiers. We build universal extensions/variants of: the SPD-matrix regressor of Meyer et al. (2011), and Fletcher (2003)'s Procrustean regressor. In the Euclidean setting, our results imply a quantitative version of Kidger and Lyons (2020)'s approximation theorem and a data-dependent version of Yarotsky and Zhevnerchuk (2019)'s uncursed approximation rates.

연구 동기 및 목표

• 임의의 리만 다양체 위에서 미분 가능한 기하학적 딥러닝(GDL)의 일반적이고 자가 포함된 프레임워크를 개발하는 것.
• 기존 GDL 모델이 비유클리드 기하학에서 실패하는 전역 유클리드 선형화에 의존하는 한계를 해결하는 것.
• 근사 오차와 모델 깊이에 대한 정량적 경계를 제공하며, 이는 다양체의 곡률과 입력 집합의 지름에 따라 달라진다.
• GDL 모델이 차원의 저주를 피할 수 있는 데이터에 의존하는 조건을 규명하는 것.
• 기존의 GDL 아키텍처, 즉 하이퍼볼릭 네트워크, 딥 칼만 필터, 그리고 SPD 행렬 회귀기 등에 대해 프레임워크를 검증하는 것.

제안 방법

• 특징 맵 φ와 리더아웃 맵 ρ가 국소 차트마다 변하는 국소 리프팅 프레임워크를 제안하며, 전역 선형화를 국소 미분동형사상으로 대체한다.
• 국소 맵의 조합을 사용: φα : Uα → Rp, g : Rp → Rm (일반적인 유클리드 네트워크), ρζ : Rm → Y로 구성되며, f̂ = ρζ⁻¹ ∘ g ∘ φα 형태를 취한다.
• 호모토피 이론을 적용하여 국소적으로 정의된 GDL 모델이 상수 함수와 호모토피가 아닌 함수를 근사할 수 없음을 보이며, 위상적 장벽을 규명한다.
• 균일 근사가 가능한 컴팩트 입력 집합의 최대 지름에 대한 곡률에 의존하는 하한을 유도한다.
• 모델의 근사 속도가 차원에 영향을 받지 않도록 보장하는 데이터 효율성 조건을 도입하며, 이는 모든 유한한 실제 데이터셋과 모든 매끄러운 목표 함수에서 성립함을 증명한다.
• 특이 호모로지와 투어위치 등기호를 포함한 대수적 위상수학 도구를 활용하여, 비영 호모토피 맵의 근사 불가능성을 증명한다.

실험 결과

연구 질문

• RQ1 국소 유클리드 네트워크로 구성된 GDL 모델은 컴팩트 리만 다양체 간의 임의의 연속 함수를 균일하게 근사할 수 있는가?
• RQ2 균일 근사가 가능한 입력 집합의 크기(지름)에 대한 곡률에 의존하는 제약 조건은 무엇인가?
• RQ3 왜 국소적으로 정의된 GDL 모델은 일부 연속 함수를 근사하지 못하는가? 이러한 실패의 원인을 설명하는 위상적 성질은 무엇인가?
• RQ4 어떤 데이터에 의존하는 조건에서 GDL 모델은 근사 과정에서 차원의 저주를 피할 수 있는가?
• RQ5 제안된 프레임워크는 하이퍼볼릭 네트워크, 딥 칼만 필터 등 기존 GDL 아키텍처의 일반적 근사 능력을 검증할 수 있는가?

주요 결과

• 상수 함수와 호모토피가 아닌, 비퇴화된 컴팩트 다양체 간의 연속 함수 f : X → Y 는 어떤 국소적으로 정의된 GDL 모델로도 균일하게 근사될 수 없다.
• 균일 근사가 가능한 컴팩트 입력 집합 X 의 최대 지름은 곡률에 의존하는 표현에 의해 하한으로 제약을 받으며, 이는 근사에 대한 기하학적 제약 조건을 보장한다.
• 근사하는 GDL 모델의 깊이는 목표 근사 오차와 입력 다양체의 곡률에 따라 상한으로 제약을 받는다.
• 모든 유한한 실제 데이터셋은 차원에 영향을 받지 않는 근사 속도를 보장하는 데이터 효율성 조건을 만족한다. 이는 비매끄러운 목표 함수일 경우에도 성립한다.
• 매끄러운 목표 함수의 경우, 모든 데이터셋이 데이터 효율성 조건을 만족하므로, 딥러닝 모델은 이러한 설정에서 차원의 저주를 피한다.
• 프레임워크는 하이퍼볼릭 피드포워드 네트워크, 딥 칼만 필터, 딥 소프트맥스 분류기의 일반적 근사 능력을 확인하며, SPD-행렬 및 프로크루스티안 회귀기의 일반적 확장도 제공한다.