[논문 리뷰] Universal Approximation Property of Neural Ordinary Differential Equations

Takeshi Teshima, Koichi Tojo외 3명|arXiv (Cornell University)|2020. 12. 04.

Model Reduction and Neural Networks참고 문헌 14인용 수 20

한 줄 요약

이 논문은 신경미분방정식(NODEs)가 이전에 알려진 것보다 더 강력한 보편적 근사 성질을 지닌다는 것을 입증한다: 즉, 매끄럽고 역함수가 존재하며 그 역함수도 매끄러운 다발사상(위상수학적 변환)의 광범위한 클래스에 대해 초우도(초균일) 근사자임을 보여준다. 미분기하학의 구조 정리(Structure Theorem)를 활용하여, 저자들은 임의의 이러한 다발사상을 NODEs가 생성하는 플로우 종점들의 유한한 조합으로 근사할 수 있음을 보이며, 이는 입력 도메인의 컴acts 부분집합에서 균일한 근사 보장을 제공한다. 이는 $L^p$-보편성보다 더 강력한 보장을 제공한다.

ABSTRACT

Neural ordinary differential equations (NODEs) is an invertible neural network architecture promising for its free-form Jacobian and the availability of a tractable Jacobian determinant estimator. Recently, the representation power of NODEs has been partly uncovered: they form an $L^p$-universal approximator for continuous maps under certain conditions. However, the $L^p$-universality may fail to guarantee an approximation for the entire input domain as it may still hold even if the approximator largely differs from the target function on a small region of the input space. To further uncover the potential of NODEs, we show their stronger approximation property, namely the $\sup$-universality for approximating a large class of diffeomorphisms. It is shown by leveraging a structure theorem of the diffeomorphism group, and the result complements the existing literature by establishing a fairly large set of mappings that NODEs can approximate with a stronger guarantee.

연구 동기 및 목표

• 신경미분방정식의 $L^p$-보편성의 한계를 해결하기 위해, 이는 작은 입력 영역에서 큰 오차를 허용할 수 있기 때문이다.
• 매끄럽고 역함수가 존재하는 매핑을 근사할 때, 신경미분방정식이 더 강력한 근사 보장—초우도 보편성—을 제공하도록 확립하기 위해.
• 광범위한 다발사상의 클래스가 NODEs가 생성하는 플로우 종점들의 조합을 통해 균일하게 근사될 수 있음을 보여주기 위해.
• 자유형의 야코비안을 가진 역함수 신경망으로서 NODEs의 표현력에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 저자들은 미분기하학의 구조 정리를 활용하여, 임의의 다발사상을 유한한 수의 플로우 종점—항등함수의 매끄러운 변형으로서의 다발사상—으로 분해한다.
• NODEs를 자율 미분방정식을 푸는 방식으로 정의하며, 리프시츠 조건을 만족하는 벡터장에 대해 초기값 문제(IVP) 연산자를 사용하여 초기 상태를 시간 1 이후 상태로 매핑한다.
• 이 방법은 조합된 각 개별 플로우 종점에 대해 NODEs를 사용해 근사하는 것으로 구성되며, 이러한 플로우 종점의 공간에서 NODEs에 의해 생성된 사상의 조밀성(density)을 활용한다.
• 이러한 근사된 플로우 종점을 조합하고 애핀 변환을 적용함으로써, 최종 네트워크 아키텍처(INN$_{\mathcal{H}\text{-NODE}}}$)는 목표 다발사상에 대해 균일(초노름, sup-norm) 근사를 달성한다.
• 증명은 연산자 노름을 사용하여 조합과 애핀 레이어를 거쳐 오차 전파를 제어하며, 컴팩트 집합에서의 균일 수렴을 보장한다.
• 저자들은 ODE 플로우의 종료 시간을 재스케일링해도 달성 가능한 플로우 종점의 집합이 변하지 않음을 보이며, 이는 근사 프레임워크를 유지한다.

실험 결과

연구 질문

• RQ1 신경미분방정식은 $L^p$-노름 외에도 광범위한 다발사상의 클래스를 균일하게 근사할 수 있는가?
• RQ2 NODEs의 표현력은 근사 보장 측면에서 $L^p$-보편성보다 더 강력한가?
• RQ3 임의의 다발사상은 NODEs가 생성하는 플로우 종점들의 유한한 조합으로 표현될 수 있는가?
• RQ4 초우도 보편성 결과는 $d \geq 2$와 $d = 1$ 차원 모두에서 성립하는가?
• RQ5 노름 선택($\sup$ 대비 $L^p$)은 신경미분방정식의 근사에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

• 신경미분방정식은 입력 도메인의 컴팩트 부분집합에서 임의의 다발사상에 대해 균일하게 근사할 수 있는 초우도 보편적 근사자이다.
• 초우도 보편성 결과는 $L^p$-보편성보다 더 강력한데, 이는 전체 입력 도메인에 걸쳐 균일한 오차 한계를 보장하기 때문이다. 평균 또는 적분 기반의 의미에서의 보장보다 더 강력하다.
• 증명은 다발사상을 유한한 수의 플로우 종점으로 분해하고, 각 플로우 종점이 NODEs에 의해 근사될 수 있음을 기반으로 한다.
• 조합에 충분히 많은 수의 잘 튜닝된 NODE 구성 요소를 선택함으로써 초노름에서 오차를 임의로 작게 만들 수 있다.
• 결과는 $d \geq 2$와 $d = 1$ 모두에서 성립하며, 애핀 변환의 연산자 노름을 통해 오차 한계를 제어할 수 있다.
• ODE의 종료 시간을 재스케일링하더라도 프레임워크가 강건하게 유지되며, 달성 가능한 플로우 종점의 집합은 그대로 유지된다.