[논문 리뷰] Neural ODE control for classification, approximation and transport

Domènec Ruiz-Balet, Enrique Zuazua|arXiv (Cornell University)|2021. 04. 12.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 립시츠 연속성 활성화 함수를 활용하여 비선형 역학을 적용함으로써, 데이터 분류와 보편적 근사화를 동시에 달성하기 위해 신경미분방정식(Neural ODEs)을 동시 제어 문제로 공식화한다. 조각별로 일정한 제어를 구성하여 위상공간 내에서 변형, 분리, 수축을 유도함으로써, 유한 시간 내에 유한한 제어 노름과 $ O(N) $개의 스위치를 가진 제어 가능성을 증명하며, ReLU 호환 동역학을 갖는 딥러닝에 대한 구조적 비선형 제어이론적 기반을 구축한다.

ABSTRACT

We analyze Neural Ordinary Differential Equations (NODEs) from a control theoretical perspective to address some of the main properties and paradigms of Deep Learning (DL), in particular, data classification and universal approximation. These objectives are tackled and achieved from the perspective of the simultaneous control of systems of NODEs. For instance, in the context of classification, each item to be classified corresponds to a different initial datum for the control problem of the NODE, to be classified, all of them by the same common control, to the location (a subdomain of the euclidean space) associated to each label. Our proofs are genuinely nonlinear and constructive, allowing us to estimate the complexity of the control strategies we develop. The nonlinear nature of the activation functions governing the dynamics of NODEs under consideration plays a key role in our proofs, since it allows deforming half of the phase space while the other half remains invariant, a property that classical models in mechanics do not fulfill. This very property allows to build elementary controls inducing specific dynamics and transformations whose concatenation, along with properly chosen hyperplanes, allows achieving our goals in finitely many steps. The nonlinearity of the dynamics is assumed to be Lipschitz. Therefore, our results apply also in the particular case of the ReLU activation function. We also present the counterparts in the context of the control of neural transport equations, establishing a link between optimal transport and deep neural networks.

연구 동기 및 목표

• 신경미분방정식(Neural ODEs)을 사용하여 분류 및 보편적 근사화와 같은 딥러닝의 성질을 이해하기 위한 제어 이론적 프레임워크를 수립하기 위해.
• 다중 데이터 포인트를 위상공간 내에서 서로 다른 클래스 특성 영역으로 동시에 이동시키기 위한 구조적 비선형 제어 전략을 개발하기 위해.
• 리프시츠 비선형성을 갖는 노드(NODEs)의 유한 시간 제어 가능성을 증명하며, $ C^1 $ 정규성 조건을 필요로 하지 않기 위해.
• 제어 전략의 복잡성을 시간 영역, 제어 노름, 스위치 수의 관점에서 정량화하기 위해.
• 최적 운반 이론과 신경운반 방정식의 제어를 통해 딥 뉴럴 네트워크와의 연결을 수립하기 위해.

제안 방법

• 시간에 따라 변화하는 가중치 $ W(t), A(t), b(t) $를 다중 초기 데이터 포인트에 대한 동시 제어 문제의 제어로 간주하기 위해.
• 제어의 조각별 일정한 스위칭을 통해 기본 흐름을 생성하기 위해: 분리, 이동, 수축, 압축.
• 비선형성과 리프시츠 성질을 갖는 활성화 함수를 활용하여 위상공간의 절반을 변형시키면서 다른 절반은 그대로 유지하기 위해.
• 이동과 초평면 기반 변형을 순차적으로 적용하여 데이터 클러스터를 분리하기 위해.
• 집합을 직경 $ O(\eta) $로 압축하기 위해 수축 흐름을 적용하여 다중 클러스터에 대한 재귀적 제어를 가능하게 하기 위해.
• 시간 영역과 초평면 구성의 신중한 선택을 통해 제어 노름을 유한하게 유지하고 $ O(N) $개의 스위치를 확보하기 위해.

실험 결과

연구 질문

• RQ1 단일 제어 입력을 사용하여 다중 데이터 포인트를 동시에 제어하여 분류할 수 있는가?
• RQ2 NODEs를 통한 데이터 분리 및 분류를 달성하기 위해 필요한 최소 제어 복잡성(시간, 노름, 스위치 수)은 무엇인가?
• RQ3 ReLU 기반 NODEs의 비선형 비연속 동역학은 어떻게 보편적 근사화와 분류를 가능하게 하는가?
• RQ4 NODEs의 제어는 최적 운반 이론 및 워셔스타인 기하학과 연결될 수 있는가?
• RQ5 활성화 함수의 비선형성은 분류에 필수적인 위상공간 변형을 가능하게 하기 위해 수행하는 역할은 무엇인가?

주요 결과

• N개의 데이터 포인트를 제어하기 위한 최종 시간 영역은 $ T \lesssim N\left(\frac{1}{\eta} + \frac{1}{\zeta} + \log\left(\frac{1}{\eta\zeta}\right)\right) $로 스케일링되며, 여기서 $ \eta $와 $ \zeta $는 분리 및 압축 정밀도를 제어한다.
• 제어 노름은 균일하게 유한하며, $ \|b\|_{L^\infty} \lesssim_{\Omega} N $로 표현되어 데이터셋 크기에 따라 스케일러블함을 나타낸다.
• 제어 입력 $ A(t), W(t), b(t) $의 스위치 수는 $ O(N) $ 수준이며, 데이터 클러스터 수와 일치한다.
• 리프시츠 연속 비선형성, 특히 ReLU를 포함하여 $ C^1 $ 미분 가능성 조건 없이도, 단지 리프시츠 연속성만으로도 유한 시간 내 분류 및 근사화를 달성한다.
• 제어 전략은 집합을 직경 $ O(\eta) $로 압축할 수 있으며, 분리 및 이동 이후 최종 구성에서 $ \mathrm{diam}_{(1)} \leq 4\eta $를 만족한다.
• 제어 비용의 주요 요인은 수축 또는 이동 단계가 아니라 분리 및 클러스터 그룹화 단계에서 발생한다.