[논문 리뷰] Control On the Manifolds Of Mappings As a Setting For Deep Learning.

Andrei Agrachev, Andrey Sarychev|arXiv (Cornell University)|2020. 08. 28.

Advanced Data Processing Techniques인용 수 4

한 줄 요약

이 논문은 R^n, T^n, 및 S^2의 미분형식군에서 연속시간 제어 시스템으로서 무한한 층을 가진 딥 뉴럴 네트워크를 모델링하는 최적 제어 문제로 딥 러닝 훈련을 공식화한다. 이는 이러한 시스템이 미분형식군에서의 근사 가용성을 입증하며, 복잡한 분류 지도의 고정밀 근사 가능성을 보여준다.

ABSTRACT

We use a control-theoretic setting to model the process of training (deep learning) of Artificial Neural Networks (ANN), which are aimed at solving classification problems. A successful classifier is the network whose input-output map approximates well the classifying map defined on a finite or an infinite training set. A fruitful idea is substitution of a multi-layer ANN by a continuous-time control system, which can be seen as a neural network with infinite number of layers. Under certain conditions it can achieve high rate of approximation with presumably not so high computational cost. The problem of best approximation for this model results in optimal control problem of Bolza type for ensembles of points. The two issues to be studied are: i) possibility of a satisfactory approximation of complex classification profiles; ii) finding the values of parameters (controls) which provide the best approximation. In control-theoretic terminology it corresponds respectively to the verification of an ensemble controllability property and to the solution of an ensemble optimal control problem. In the present contribution we concentrate on the first type of problems; our main results include examples of control systems, which are approximately controllable in the groups of diffeomorphisms of $\mathbb{R}^n, \mathbb{T}^n, \mathbb{S}^2$.

연구 동기 및 목표

• 무한 층을 가진 연속시간 제어 시스템으로서 딥 뉴럴 네트워크 훈련을 모델링하기.
• 이러한 제어 시스템이 높은 정밀도로 복잡한 분류 프로파일을 근사할 수 있는지 조사하기.
• R^n, T^n, 및 S^2에서 맵핑에 대한 집합적 가용성 성질을 검증하기.
• 제어 이론적 근사 기반의 효율적 딥 러닝을 위한 이론적 기초 마련하기.

제안 방법

• 다층 신경망을 미분형식의 다양체 위의 연속시간 제어 시스템으로 모델링하기.
• 점의 집합에 대한 볼차 유형 최적 제어 문제로 훈련 과정을 공식화하기.
• 제어 이론적 도구를 사용하여 R^n, T^n, 및 S^2에서 시스템의 가용성 분석하기.
• 미분기하학 및 제어 이론의 결과를 활용해 근사 능력 연구하기.
• 효율적 근사의 필요 조건으로서 집합적 가용성 성질에 초점 맞추기.
• 입력-출력 관계의 고정밀 맵핑을 가능하게 하는 제어 시스템의 구조 분석하기.

실험 결과

연구 질문

• RQ1 미분형식의 다양체 위의 연속시간 제어 시스템이 복잡한 분류 지도를 고정밀도로 근사할 수 있는가?
• RQ2 R^n, T^n, 및 S^2에서 이러한 제어 시스템이 근사적으로 가용성이 보장되는 조건은 무엇인가?
• RQ3 제어 이론적 공식화가 이산 딥 네트워크보다 잠재적으로 낮은 계산 비용으로 효율적 근사를 가능하게 하는가?
• RQ4 이러한 다양체에서 어떤 유형의 제어 시스템이 분류 과제에 유리한 근사 성질을 보이는가?
• RQ5 집합적 가용성은 이 프레임워크에서 효과적인 학습을 위한 충분한 조건인가?

주요 결과

• 논문은 R^n의 미분형식군에서 일부 제어 시스템이 근사적으로 가용하다는 것을 입증한다.
• 논문은 n차원 토러스 T^n에서의 시스템에 대해 근사 가용성을 확립한다.
• 논문은 2차원 구면 S^2에서의 시스템에 대해 근사 가용성을 증명한다.
• 결과는 이러한 다양체에서의 연속시간 제어 시스템이 복잡한 분류 프로파일을 효과적으로 근사할 수 있음을 시사한다.
• 무한 층 모델링을 통한 계산 비용 감소 가능성을 지닌 이론적 기반을 제공한다.
• 분석은 특정 기하 설정에서 집합적 가용성 성질이 달성 가능하다는 것을 확인하며, 제안된 접근의 실현 가능성을 뒷받침한다.