[論文レビュー] Higher-order algorithms and implicit regularization for nonlinearly parameterized adaptive control

Nicholas M. Boffi, Jean-Jacques Slotine|arXiv (Cornell University)|Dec 31, 2019

Piezoelectric Actuators and Control被引用数 7

ひとこと要約

本稿では、Bregmanラグランジアンを用いた変分枠組みを導入し、非線形パrameter化されたシステムに対する高次かつグローバルに収束する適応制御アルゴリズムを導出する。凸ポテンシャル関数を用いた非ユークリッド幾何学を組み込むことで、モデルパラメータが暗黙的正則化され、スパarsityと一般化性能の向上が達成される。ニューラルネットワークの重み学習におけるモーメンタム強化型適応において実証された。

ABSTRACT

Stable concurrent learning and control of dynamical systems is the subject of adaptive control. Adaptive control is a field with many practical applications and a rich theory, but much of the development for nonlinear systems revolves around a few key algorithms. By exploiting strong connections between nonlinear adaptive control techniques and recent progress in optimization and machine learning, we show that there exists considerable untapped potential in algorithm development for nonlinear adaptive control. We present a large set of new globally convergent adaptive control algorithms that are applicable both to linearly parameterized systems and to nonlinearly parameterized systems satisfying certain monotonicity or convexity requirements. We adopt a variational formalism based on the Bregman Lagrangian to define a general framework that systematically generates higher-order in-time velocity gradient algorithms. We generalize our algorithms to the non-Euclidean setting and show that the Euler Lagrange equations for the Bregman Lagrangian lead to natural gradient and mirror descent-like adaptation laws with momentum that incorporate local geometry through a Hessian metric specified by a convex function. We prove that these non-Euclidean adaptation laws implicitly regularize the system model by minimizing the convex function that specifies the metric throughout adaptation. Local geometry imposed during adaptation thus may be used to select parameter vectors - out of the many that will lead to perfect tracking - for desired properties such as sparsity. We illustrate our analysis with simulations using a higher-order algorithm for nonlinearly parameterized systems to learn regularized hidden layer weights in a three-layer feedforward neural network.

研究の動機と目的

• 非線形適応制御におけるアルゴリズムの多様性の不足、特に非線形パrameter化されたシステムに対して。
• 最近の変分法およびBregmanダイバージェンスの進展を活用して、適応制御、最適化、機械学習の間のギャップを埋める。
• 時間的高次性を有する、局所幾何をヘッセ計量で組み込んだグローバルに収束する、速度勾配アルゴリズムを構築する。
• 凸関数の選択によって、パラメータ空間の幾何を形作ることで、適応過程における暗黙的正則化を可能にする。
• これらのアルゴリズムが深層ニューラルネットワークにおける正則化された重み学習に有効であることを示す。

提案手法

• Bregmanラグランジアンを用いて適応制御を変分問題として定式化し、Euler-Lagrange方程式を通じて時間的高次アルゴリズムを生成する。
• 凸関数を用いてヘッセに基づく計量を定義することで、非ユークリッド空間への一般化を実現し、ネイチャラルグラデントやミラー降下に類似したダイナミクスを可能にする。
• BregmanラグランジアンのEuler-Lagrange方程式を解くことで、モーメンタムを組み込んだ適応則を導出し、局所幾何を学習プロセスに埋め込む。
• 計量を定義する凸関数の最小化を通じて、暗黙的正則化を導入し、スパarsityなど望ましい構造的性質を持つパラメータベクトルを促進する。
• 三層フィードフォワードニューラルネットワークにこの枠組みを適用し、スパarsity促進型正則化を伴う隠れ層重みを学習する。
• 非線形パrameter化の単調性または凸性の条件下でグローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 変分的枠組みを用いて、非線形パrameter化された適応制御に対して、時間的高次性を有する速度勾配アルゴリズムを体系的に導出可能か？
• RQ2 凸ポテンシャルによって定義される非ユークリッド幾何は、適応ダイナミクスをどのように形状づけ、暗黙的正則化を誘発するか？
• RQ3 凸関数から導かれるヘッセ計量が、スパarsityなどの望ましい性質へのパラメータ収束をどのようにガイドするか？
• RQ4 単調性または凸性制約の下で、提案された枠組みが非線形パrameter化されたシステムにおいてグローバル収束を達成できるか？
• RQ5 適応則にモーメンタムを組み込むことで、ニューラルネットワーク学習における収束性と正則化にどのような影響を与えるか？

主な発見

• Bregmanラグランジアン枠組みは、線形および非線形パrameter化された両システムに対して、高次かつグローバルに収束する適応制御アルゴリズムを体系的に生成する。
• BregmanラグランジアンのEuler-Lagrange方程式から得られる適応則は、非ユークリッド空間におけるネイチャラルグラデントやミラー降下法と同等のものであり、モーメンタムを内蔵する。
• 計量を定義する凸関数の最小化を通じて、適応過程で自然に暗黙的正則化が発生し、スパarsityなどの望ましい構造的性質を持つパラメータベクトルが優遇される。
• この枠組みにより、完全追従を達成するパラメータベクトルの中から、凸ポテンシャルが課す幾何的制約に基づいて最適なものを選択可能となる。
• シミュレーションにより、提案された高次アルゴリズムを用いて、三層フィードフォワードニューラルネットワークにおける正則化された隠れ層重みの学習に成功した。
• 単調性または非線形パrameter化の凸性といった弱い仮定のもとで、グローバル収束が保証される。