[論文レビュー] Control On the Manifolds Of Mappings As a Setting For Deep Learning.

Andrei Agrachev, Andrey Sarychev|arXiv (Cornell University)|Aug 28, 2020

Advanced Data Processing Techniques被引用数 4

ひとこと要約

この論文は、無限層を持つ連続時間制御系としての深層ニューラルネットワークを、写像の多様体上の最適制御問題として定式化する。微分同相群の上でのこのような制御系の近似的可制御性を、R^n、T^n、S^2 に対して確立し、複雑な分類マップの高精度近似の可能性を示している。

ABSTRACT

We use a control-theoretic setting to model the process of training (deep learning) of Artificial Neural Networks (ANN), which are aimed at solving classification problems. A successful classifier is the network whose input-output map approximates well the classifying map defined on a finite or an infinite training set. A fruitful idea is substitution of a multi-layer ANN by a continuous-time control system, which can be seen as a neural network with infinite number of layers. Under certain conditions it can achieve high rate of approximation with presumably not so high computational cost. The problem of best approximation for this model results in optimal control problem of Bolza type for ensembles of points. The two issues to be studied are: i) possibility of a satisfactory approximation of complex classification profiles; ii) finding the values of parameters (controls) which provide the best approximation. In control-theoretic terminology it corresponds respectively to the verification of an ensemble controllability property and to the solution of an ensemble optimal control problem. In the present contribution we concentrate on the first type of problems; our main results include examples of control systems, which are approximately controllable in the groups of diffeomorphisms of $\mathbb{R}^n, \mathbb{T}^n, \mathbb{S}^2$.

研究の動機と目的

• 無限層を持つ連続時間制御系として深層ニューラルネットワークの学習をモデル化すること。
• このような制御系が、高精度で複雑な分類プロファイルを近似可能かどうかを調査すること。
• R^n、T^n、S^2 における写像のためのアンサンブル可制御性を検証すること。
• 制御理論的近似を用いた効率的な深層学習の理論的基盤を構築すること。

提案手法

• 微分同相写像の多様体上での多層ニューラルネットワークを連続時間制御系としてモデル化すること。
• 点のアンサンブルに対するボルツァ型最適制御問題として学習プロセスを定式化すること。
• 制御理論的ツールを用いて、R^n、T^n、S^2 におけるシステムの可制御性を分析すること。
• 微分幾何学および制御理論の結果を応用し、近似能力を研究すること。
• 効果的な近似のための必要条件として、アンサンブル可制御性に焦点を当てる。
• 入出力関係の高精度なマッピングを可能にする制御系の構造を分析すること。

実験結果

リサーチクエスチョン

• RQ1 写像の微分同相群上での連続時間制御系は、複雑な分類マップを高精度で近似可能か？
• RQ2 R^n、T^n、S^2 におけるこのような制御系が近似的に可制御であるための条件は何か？
• RQ3 制御理論的定式化は、離散的深層ネットワークよりも計算コストが低くなる可能性をどのように実現するか？
• RQ4 これらの多様体上でのどのような制御系が分類タスクにおいて優れた近似特性を示すか？
• RQ5 アンサンブル可制御性は、この枠組みにおいて有効な学習の十分条件か？

主な発見

• 本論文は、R^n の微分同相群上で特定の制御系が近似的に可制御であることを示している。
• n次元トーラス T^n 上の制御系に対しても近似的可制御性を確立している。
• 2次元球面 S^2 上の制御系に対しても近似的可制御性を証明している。
• 結果から、これらの多様体上での連続時間制御系が、複雑な分類プロファイルを効果的に近似可能であることが示唆される。
• 無限層モデル化を通じて、計算コストを低減可能な深層学習の理論的基盤を提供する。
• 分析により、特定の幾何的設定においてアンサンブル可制御性が達成可能であることが確認され、提案手法の実現可能性が裏付けられている。