[논문 리뷰] The NEU Meta-Algorithm for Geometric Learning with Applications in Finance

Anastasis Kratsios, Cody Hyndman|arXiv (Cornell University)|2018. 01. 01.

Machine Learning and Data Classification인용 수 1

한 줄 요약

이 논문은 다양한 모델 클래스에서 보편적 근사성질(UAP)을 유지하는 표현력 있는 특징 맵을 학습하는 기하학적 학습 프레임워크인 비유클리드 업그레이드(NEU) 메타알고리즘을 제안한다. 방향을 유지하는 호메오모르피즘의 집합에서 보편적인 딥 네ural 아키텍처를 활용함으로써 NEU는 학습된 표현이 부분다양체임을 보장하고, 기억화 및 컴act 지지 집합을 위한 정량적 파라미터 및 깊이 요구 조건을 제공한다.

ABSTRACT

Effective feature representation is key to the predictive performance of any algorithm. This paper introduces a meta-procedure, called Non-Euclidean Upgrading (NEU), which learns feature maps that are expressive enough to embed the universal approximation property (UAP) into most model classes while only outputting feature maps that preserve any model class's UAP. We show that NEU can learn any feature map with these two properties if that feature map is asymptotically deformable into the identity. We also find that the feature-representations learned by NEU are always submanifolds of the feature space. NEU's properties are derived from a new deep neural model that is universal amongst all orientation-preserving homeomorphisms on the input space. We derive qualitative and quantitative approximation guarantees for this architecture. We quantify the number of parameters required for this new architecture to memorize any set of input-output pairs while simultaneously fixing every point of the input space lying outside some compact set, and we quantify the size of this set as a function of our model's depth. Moreover, we show that no deep feed-forward network with commonly used activation function has all these properties. NEU's performance is evaluated against competing machine learning methods on various regression and dimension reduction tasks both with financial and simulated data.

연구 동기 및 목표

• 모델 클래스의 내재된 불변성을 유지하면서 어떤 모델 클래스에도 보편적 근사성질(UAP)을 통합하는 메타절차를 개발하는 것.
• 특징 맵이 항등사상으로 점점 수축할 수 있는 조건을 규명하는 것.
• 학습된 표현의 기하학적 구조를 정형화하여, 이것이 항상 특징 공간의 부분다양체임을 보여주는 것.
• 입력-출력 쌍을 기억할 수 있도록 필요한 정확한 파라미터 수와 깊이 요구 조건을 도출하는 것.
• 일반적인 활성화 함수를 사용하는 표준 딥 퍼포워드 네트워크가 이러한 모든 성질을 동시에 만족하지 못하는 이유를 보여주는 것.

제안 방법

• 입력 공간에서 모든 방향을 유지하는 호메오모르피즘에 대해 보편적인 딥 네ural 아키텍처를 설계하는 것.
• 학습된 표현이 특징 공간의 부분다양체가 되도록 보장하는 NEU라는 특징 맵 학습 절차를 구성하는 것.
• NEU 하에서 특징 맵의 학습 가능성에 대한 충분조건으로 항등사상으로 점점 수축하는 것(점근적 변형)을 사용하는 것.
• 파라미터 수와 깊이 의존성 포함 정성적·정량적 근사 보장 조건을 도출하는 것.
• 모델이 고정된 컴팩트 집합의 크기를 네트워크 깊이의 함수로 기술하는 것.
• 모델 클래스의 인덕티브 바이어스를 변경하지 않고도 다양한 모델 클래스에 적용 가능한 메타알고리즘으로 NEU를 구현하는 것.

실험 결과

연구 질문

• RQ1 메타알고리즘이 다양한 모델 클래스 간 보편적 근사성질(UAP)을 유지하는 특징 맵을 학습할 수 있는가?
• RQ2 특징 맵이 항등사상으로 점점 수축할 수 있다면, NEU는 어떤 조건에서 그 특징 맵을 학습할 수 있는가?
• RQ3 NEU가 학습한 특징 표현의 기하학적 구조는 무엇이며, 부분다양체와 어떻게 관련되어 있는가?
• RQ4 입력-출력 쌍을 기억하면서 컴팩트 집합 외부의 점들을 고정하기 위해 NEU는 얼마나 많은 파라미터와 깊이가 필요한가?
• RQ5 일반적인 활성화 함수를 사용하는 표준 딥 퍼포워드 네트워크가 NEU의 모든 원하는 성질을 동시에 만족하지 못하는 이유는 무엇인가?

주요 결과

• NEU는 기반 모델 클래스에 관계없이 항상 특징 공간의 부분다양체인 특징 맵을 학습한다.
• NEU가 학습한 특징 맵는 타겟 모델 클래스의 보편적 근사성질(UAP)을 보장한다.
• NEU의 기반 아키텍처는 입력 공간에서 모든 방향을 유지하는 호메오모르피즘에 대해 보편적이며, 높은 표현력을 제공한다.
• 기억화에 필요한 파라미터 수는 입력-출력 쌍의 크기와 비례하며, 모델이 고정되는 컴팩트 집합의 크기는 네트워크 깊이에 따라 증가한다.
• 일반적인 활성화 함수를 사용하는 표준 딥 퍼포워드 네트워크에서는 NEU의 모든 성질(예: UAP 유지 및 컴팩트 지지)을 동시에 만족할 수 없다.
• 금융 및 시뮬레이션 데이터에 대한 실증 평가에서 NEU는 회귀 및 차원 축소 과제에서 경쟁 방법들을 능가하는 성능을 보였다.