[논문 리뷰] Non-Euclidean Universal Approximation

Anastasis Kratsios, Ievgen Bilokopytov|arXiv (Cornell University)|2020. 06. 03.

Morphological variations and asymmetry인용 수 6

한 줄 요약

이 논문은 신경망의 입력 및 출력 레이어를 수정하는 조건이 일반적으로 그 유니버설 근사 능력을 유지하는지를 규명한다. 비유클리드 공간이나 이진 출력을 사용하는 경우에도, 딥 네트워크(예: CNN 및 하이퍼볼릭 네트워크)가 카르탕-하다마르드 다양체 또는 결정적 이진 분류에 적응할 때도 여전히 유니버설 근사기로 남아 있음을 증명하며, 대부분의 레이어를 무작위화하더라도 확률 1로 유니버설 함수 가족을 유지함을 보여준다.

ABSTRACT

Modifications to a neural network's input and output layers are often required to accommodate the specificities of most practical learning tasks. However, the impact of such changes on architecture's approximation capabilities is largely not understood. We present general conditions describing feature and readout maps that preserve an architecture's ability to approximate any continuous functions uniformly on compacts. As an application, we show that if an architecture is capable of universal approximation, then modifying its final layer to produce binary values creates a new architecture capable of deterministically approximating any classifier. In particular, we obtain guarantees for deep CNNs and deep feed-forward networks. Our results also have consequences within the scope of geometric deep learning. Specifically, when the input and output spaces are Cartan-Hadamard manifolds, we obtain geometrically meaningful feature and readout maps satisfying our criteria. Consequently, commonly used non-Euclidean regression models between spaces of symmetric positive definite matrices are extended to universal DNNs. The same result allows us to show that the hyperbolic feed-forward networks, used for hierarchical learning, are universal. Our result is also used to show that the common practice of randomizing all but the last two layers of a DNN produces a universal family of functions with probability one. We also provide conditions on a DNN's first (resp. last) few layer's connections and activation function which guarantee that these layers can have a width equal to the input (resp. output) space's dimension while not negatively affecting the architecture's approximation capabilities.

연구 동기 및 목표

• 입력 및 출력 레이어의 수정이 신경망의 유니버설 근사 능력에 미치는 영향을 이해하는 것.
• 딥 아키텍처에서 유니버설 근사를 유지하는 특징 맵과 리더아웃 맵에 대한 일반 조건을 규명하는 것.
• 대칭 양의 정합 행렬 및 하이퍼볼릭 공간과 같은 비유클리드 공간으로의 유니버설 근사 보장을 확장하는 것.
• 이진 출력 레이어나 초기/후기 레이어의 랜덤화와 같은 아키텍처 수정이 근사 능력에 미치는 영향을 분석하는 것.
• 모든 레이어를 제외한 마지막 두 레이어를 랜덤화하는 일반적인 딥 러닝 관행에 대한 이론적 근거를 제공하는 것.

제안 방법

• 딥 신경망에서 유니버설 근사를 유지하는 특징 맵과 리더아웃 맵에 대한 일반 조건을 유도한다.
• 이 조건들을 적용하여 최종 레이어를 이진 출력을 생성하도록 수정하더라도 분류기의 유니버설 근사 능력이 유지됨을 보여준다.
• 카르탕-하다마르드 다양체에서의 기하 분석을 사용하여 유효한 비유클리드 특징 맵과 리더아웃 맵을 구성한다.
• 대칭 양의 정합 행렬에 대한 일반적으로 사용되는 비유클리드 회귀 모델이 유니버설 딥 네트워크로 확장될 수 있음을 보여준다.
• 프레임워크를 하이퍼볼릭 피드포워드 네트워크에 적용하여 그들의 유니버설성을 증명한다.
• 딥 네트워크의 모든 레이어를 제외한 마지막 두 레이어를 제외한 나머지 레이어를 랜덤화하면 확률 1로 유니버설 함수 가족이 생성됨을 확립한다.

실험 결과

연구 질문

• RQ1 입력 및 출력 레이어의 수정 조건이 딥 신경망의 유니버설 근사 능력을 유지하는가?
• RQ2 대칭 양의 정합 행렬 또는 하이퍼볼릭 공간과 같은 비유클리드 입력 또는 출력 공간을 가진 딥 네트워크도 여전히 유니버설 근사를 달성할 수 있는가?
• RQ3 딥 네트워크의 모든 레이어를 제외한 마지막 두 레이어를 제외한 나머지 레이어를 랜덤화하면 유니버설 근사 능력이 유지되는가?
• RQ4 초기 또는 후기 레이어에 어떤 아키텍처 제약 조건이 있어야 입력/출력 차원과 동일한 너비를 가질 수 있으며 근사 능력에 해를 끼치지 않는가?
• RQ5 카르탕-하다마르드 다양체에 대해 기하학적으로 의미 있는 특징 맵과 리더아웃 맵을 어떻게 구성하여 유니버설 근사를 보장할 수 있는가?

주요 결과

• 유니버설 아키텍처의 최종 레이어를 이진 출력을 생성하도록 수정하면, 모든 분류기를 결정적으로 근사할 수 있는 새로운 아키텍처가 도출된다.
• 딥 컨볼루션 및 피드포워드 네트워크는 대칭 양의 정합 행렬과 같은 비유클리드 공간으로 적응할 경우에도 여전히 유니버설 근사기로 남아 있다.
• 제안된 프레임워크 하에서 하이퍼볼릭 피드포워드 네트워크가 유니버설 근사기로 증명된다.
• 딥 네트워크의 모든 레이어를 제외한 마지막 두 레이어를 제외한 나머지 레이어를 랜덤화하면 확률 1로 유니버설 함수 가족이 생성된다.
• 딥 네트워크의 첫 번째 또는 마지막 몇 개의 레이어가 입력 또는 출력 공간 차원과 동일한 너비를 가질 수 있으며, 활성화 함수와 연결 패턴이 유도된 조건을 만족할 경우 유니버설 근사 능력에 손상을 주지 않는다.