[논문 리뷰] Approximation Capabilities of Neural ODEs and Invertible Residual Networks

Han Zhang, Xi Gao외 2명|arXiv (Cornell University)|2019. 07. 30.

Model Reduction and Neural Networks참고 문헌 22인용 수 28

한 줄 요약

이 논문은 이중 차원 공간에서 작동할 때, 신경미분방정식(Neural ODEs)과 i-ResNets가 연속적인 가역 함수에 대해 일반적인 근사가 가능하다고 규명한다. p차원 공간에서의 임의의 호메오모르피즘은 2p차원 공간에서 작동하는 신경미분방정식 또는 i-ResNet을 통해 근사 가능하며, 추가로 선형층 하나를 더하면 비가역적인 연속 함수에 대해서도 일반적인 근사가 가능하다고 증명한다.

ABSTRACT

Neural ODEs and i-ResNet are recently proposed methods for enforcing invertibility of residual neural models. Having a generic technique for constructing invertible models can open new avenues for advances in learning systems, but so far the question of whether Neural ODEs and i-ResNets can model any continuous invertible function remained unresolved. Here, we show that both of these models are limited in their approximation capabilities. We then prove that any homeomorphism on a $p$-dimensional Euclidean space can be approximated by a Neural ODE operating on a $2p$-dimensional Euclidean space, and a similar result for i-ResNets. We conclude by showing that capping a Neural ODE or an i-ResNet with a single linear layer is sufficient to turn the model into a universal approximator for non-invertible continuous functions.

연구 동기 및 목표

• 신경미분방정식과 i-ResNets가 연속적인 가역 사상에 대해 일반적인 근사를 수행할 수 있는지 확인하는 것.
• 이들 모델이 원래 차원에서 일반적인 가역 함수를 근사하는 데에 한계를 보이는지 조사하는 것.
• 이들 모델이 가역 및 비가역 함수에 대해 일반적인 근사를 달성할 수 있는 이론적 조건을 설정하는 것.
• CIFAR10에서의 분류 작업과 단순한 가역 함수 근사에 대한 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• p차원 유클리드 공간에서의 임의의 호메오모르피즘은 2p차원 공간에서 작동하는 신경미분방정식을 통해 근사 가능하다는 것을 증명한다.
• 리프시츠 상수가 1 미만인 잔차 블록을 사용하여 2p차원 공간에서 i-ResNets의 유사한 일반 근사 결과를 보여준다.
• 입력에 영 채널(null channels)을 추가하여 차원을 p에서 q ≥ 2p로 확장하는 차원 확장 기법을 도입한다.
• i-ResNet에서 리프시츠 연속성을 보장하기 위해 스펙트럴 정규화를 적용하여 각 잔차 블록의 리프시츠 상수를 1 이하로 유지한다.
• 초기값 문제의 해를 통해 연속적인 ODE 설정을 활용한다: $ x_T = x_0 + \int_0^T f_\Theta(x_t, t) dt $, 여기서 $ f_\Theta $ 는 학습 가능한 함수이다.
• 입력 차원과 네트워크 용량을 다양하게 조절한 ODE-Nets와 i-ResNets를 사용하여 CIFAR10에서 실험 결과를 검증한다.

실험 결과

연구 질문

• RQ1 신경미분방정식은 p차원 공간에서 임의의 연속적인 가역 함수를 일반적으로 근사할 수 있는가?
• RQ2 i-ResNets는 p차원 공간에서 임의의 연속적인 가역 함수를 일반적으로 근사할 수 있는가?
• RQ3 신경미분방정식과 i-ResNets가 가역 사상에 대해 일반적인 근사를 수행할 수 있는 최소 차원(예: 2p)이 존재하는가?
• RQ4 신경미분방정식 또는 i-ResNet에 단일 선형층을 추가하면 비가역적인 연속 함수에 대한 일반 근사가 가능해지는가?
• RQ5 empirical 결과가 ODE-Nets와 i-ResNets에서 일반 근사의 이론적 임계점 q = 2p를 확인할 수 있는가?

주요 결과

• p차원 유클리드 공간에서의 임의의 호메오모르피즘은 2p차원 공간에서 작동하는 신경미분방정식을 통해 근사 가능하다.
• i-ResNets도 2p차원 공간에서 작동할 경우 동일한 일반 근사 결과를 얻는다.
• 1차원 i-ResNet에서는 $ x \to -x $ 변환을 학습하지 못하고, 작은 양수 $ c $를 갖는 $ x \to cx $ 형태로만 근사되며, 이는 이론적 한계를 확인한다.
• 추가로 영 차원을 더한 i-ResNet은 $ x \to -x $ 변환을 테스트 MSE가 $ 10^{-10} $ 이하로 성공적으로 학습하여 2p차원 이론의 타당성을 검증한다.
• CIFAR10에서의 ODE-Net 실험 결과, 충분한 용량($ k \geq 64 $ 필터)을 갖는 네트워크에서 $ d > 3 $ (즉, $ 2p $ 초과)가 되면 손실 감소 속도가 통계적으로 유의미하게 저하된다.
• 양측 t-검정을 통해 $ 2p $ 이상에서 손실 추세의 변화가 유의미하다는 것을 확인했으며($ p = 0.002 $), 이는 이론적 임계점의 타당성을 지지한다.