[논문 리뷰] NEU: A Meta-Algorithm for Universal UAP-Invariant Feature Representation

Anastasis Kratsios, Cody Hyndman|arXiv (Cornell University)|2018. 08. 31.

Machine Learning and Data Classification참고 문헌 55인용 수 8

한 줄 요약

이 논문은 새로운 재구성 네트워크 아키텍처를 통해 보편적이고 UAP-불변 특징 표현을 학습하는 메타알고리즘 NEU를 소개한다. 이는 특징 맵이 위상적으로 안정되고 항등 함수로 점점 가까워지는 특성을 보장한다. NEU는 온도 기반 가중치 부여 방식을 통해 학습 샘플을 재가중함으로써 일반화 능력을 향상시키며, 근사화 및 기억 용량에 대한 이론적 보장을 제공한다.

ABSTRACT

Effective feature representation is key to the predictive performance of any algorithm. This paper introduces a meta-procedure, called Non-Euclidean Upgrading (NEU), which learns feature maps that are expressive enough to embed the universal approximation property (UAP) into most model classes while only outputting feature maps that preserve any model class's UAP. We show that NEU can learn any feature map with these two properties if that feature map is asymptotically deformable into the identity. We also find that the feature-representations learned by NEU are always submanifolds of the feature space. NEU's properties are derived from a new deep neural model that is universal amongst all orientation-preserving homeomorphisms on the input space. We derive qualitative and quantitative approximation guarantees for this architecture. We quantify the number of parameters required for this new architecture to memorize any set of input-output pairs while simultaneously fixing every point of the input space lying outside some compact set, and we quantify the size of this set as a function of our model's depth. Moreover, we show that no deep feed-forward network with commonly used activation function has all these properties. NEU's performance is evaluated against competing machine learning methods on various regression and dimension reduction tasks both with financial and simulated data.

연구 동기 및 목표

• 모델 클래스의 보편 근사 성질(UAP)을 유지하면서 학습된 특징 맵을 통해 표현력을 향상시키는 메타알고리즘을 개발하는 것.
• 학습된 특징 맵이 UAP-불변임을 보장하여, 특징 변환 후에도 복합 모델 클래스가 여전히 보편적이게 하는 것.
• 특징 맵이 항등 함수로 연속적으로 수렴하도록 설계하여 불필요한 구조적 편향을 피하는 것.
• 제안된 아키텍처의 근사 정확도, 파라미터 효율성 및 기억 용량에 대한 이론적 보장을 제공하는 것.
• 금융 및 시뮬레이션 데이터를 사용하여 회귀 및 차원 축소 과제에서 NEU의 성능을 평가하는 것

제안 방법

• 입력 공간에서 방향을 유지하는 호메오모르피즘의 측면에서 보편적인 재구성 네트워크 $\Phi_{\star:d}$ 를 도입한다.
• 손실 값에 기반한 데이터 의존적 가중치 $w_n^{\star,\lambda}$ 를 사용하는 가중 손실 함수를 통해 특징 맵 $\hat{\phi}$ 를 학습하는 메타알고리즘을 적용한다.
• 고손실 샘플의 영향을 제어하기 위해 온도 하이퍼파rameter $\lambda > 0$ 를 사용하며, 가중치는 $w_n^{\lambda,\hat{f}} = \frac{e^{-\lambda^{-1}L(f(x_n),\hat{f}(x_n),x_n)}}{\sum_n e^{-\lambda^{-1}L(f(x_n),\hat{f}(x_n),x_n)}}$ 로 정의된다.
• 상대 엔트로피(KL 발산)를 사용하여 근사 보장을 유도하고, 지브스 부등식을 적용하여 일반화 오차를 경계한다.
• NEU가 학습한 특징 맵은 항상 특징 공간의 부분다양체이므로 위상 일관성이 보장된다.
• 입력-출력 쌍을 기억하기 위해 재구성 네트워크에 필요한 파라미터 수와 깊이를 정량화하며, 컴acts 집합 외부의 모든 점에서 행동이 고정되어 있음을 고려한다.

실험 결과

연구 질문

• RQ1 어떤 모델 클래스의 보편 근사 성질(UAP)을 유지하면서도 특징 맵을 학습시킬 수 있는 메타알고리즘을 설계할 수 있는가?
• RQ2 학습된 특징 맵이 항등 함수로 점점 수렴하도록 보장하기 위해 필요한 아키텍처 및 학습 조건은 무엇인가?
• RQ3 데이터 의존적 재가중 처리는 훈련 및 테스트 성능 간 격차를 최소화함으로써 일반화를 어떻게 향상시킬 수 있는가?
• RQ4 재구성 네트워크가 임의의 입력-출력 쌍을 기억하기 위해 필요한 최소 깊이와 파라미터 수는 얼마인가? 이때 컴팩트 집합 외부의 행동은 고정되어 있다.
• RQ5 일반적인 활성화 함수를 사용하는 표준 딥 러닝 전방향 네트워크가 UAP-불변성 및 항등 함수로의 연속적 수렴 성질을 충족하지 못하는 정도는 어느 정도인가?

주요 결과

• NEU 메타알고리즘은 단사적이며 차원이 최소 $d$ 이상인 특징 공간으로 사상하는 특징 맵을 학습함으로써 UAP-불변성을 보장한다. 이는 브라우어의 위상적 제약 조건을 만족한다.
• NEU가 학습한 특징 맵은 항상 특징 공간의 부분다양체이므로 위상적 규칙성과 안정성이 보장된다.
• 재구성 네트워크 $\Phi_{\star:d}$ 는 $\mathbb{R}^d$ 상에서 방향을 유지하는 호메오모르피즘의 측면에서 보편적이며, 부드럽고 역행 가능하는 모든 변환을 모델링할 수 있다.
• NEU 모델의 일반화 오차는 가중 손실 기대값과 균일 손실 기대값의 차이로 경계되며, 이 경계는 가중치 분포가 균일 사전분포와 정확히 일치할 때에만 0이 된다.
• 재구성 네트워크가 임의의 입력-출력 쌍을 기억하기 위해 필요한 파라미터 수를 정량화하였으며, 행동이 고정되지 않은 컴팩트 집합의 크기는 모델의 깊이에 따라 비례한다.
• 일반적인 활성화 함수를 사용하는 딥 러닝 전방향 네트워크는 일반적으로 UAP-불변성 및 연속적인 항등 함수 학습 성질을 충족하지 못한다.