[論文レビュー] On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers

Kenji Kawaguchi|arXiv (Cornell University)|Feb 15, 2021

Sparse and Compressive Sensing Techniques参考文献 54被引用数 14

ひとこと要約

本稿では、重み行列にのみ非線形性を有し、非凸な損失関数を伴う深層均衡線形モデル（DELMs）に対して、勾配ダイナミクスを用いてグローバル最適解へのグローバル収束を確立する。非凸性にもかかわらず、幅に関する仮定なしに線形収束レートで収束が達成され、DELMの勾配ダイナミクスと信頼領域ニュートン法との間の数学的リンクが証明され、暗黙の層におけるインプリシットバイアスが明らかにされる。

ABSTRACT

A deep equilibrium model uses implicit layers, which are implicitly defined through an equilibrium point of an infinite sequence of computation. It avoids any explicit computation of the infinite sequence by finding an equilibrium point directly via root-finding and by computing gradients via implicit differentiation. In this paper, we analyze the gradient dynamics of deep equilibrium models with nonlinearity only on weight matrices and non-convex objective functions of weights for regression and classification. Despite non-convexity, convergence to global optimum at a linear rate is guaranteed without any assumption on the width of the models, allowing the width to be smaller than the output dimension and the number of data points. Moreover, we prove a relation between the gradient dynamics of the deep implicit layer and the dynamics of trust region Newton method of a shallow explicit layer. This mathematically proven relation along with our numerical observation suggests the importance of understanding implicit bias of implicit layers and an open problem on the topic. Our proofs deal with implicit layers, weight tying and nonlinearity on weights, and differ from those in the related literature.

研究の動機と目的

• 暗黙の層、重みの共有、重みへの非線形性を有する深層均衡モデル（DELMs）における勾配ダイナミクスの理論的分析を目的とする。
• 幅の制約なしに回帰および分類問題における非凸目的関数に対するグローバル最適解へのグローバル収束を確立することを目的とする。
• 浅い明示的ネットワークにおけるDELM勾配ダイナミクスと信頼領域ニュートン法との間の数学的関係を解明することを目的とする。
• 理論的および数値的分析を通じて、暗黙の層のインプリシットバイアスを調査することを目的とする。
• 無限の深さ、重みの共有、非線形な重み依存性を組み込んだことで、深層線形ネットワークの理論的理解を拡張することを目的とする。

提案手法

• 各層が共有重み θ に依存する非線形変換を適用する無限深さ・重み共有アーキテクチャを用いる。
• 出力は反復処理の不動点として定義され、z* = h(z*; x, θ) であり、明示的な反復ではなく根の探索によって計算される。
• 勾配は暗黙の微分を用いて計算され、不動点を通り抜ける効率的なバックプロパゲーションが可能になる。
• 理論的分析では微分方程式とリャプノフ型の議論を用いて勾配フローのダイナミクスを研究する。
• 重要な変換により、DELMの勾配ダイナミクスが浅い明示的ネットワークにおける信頼領域ニュートン法の更新則に写像される。
• 回帰および分類問題の両方において、一般の非凸損失関数に対して収束が証明される。

実験結果

リサーチクエスチョン

• RQ1 非凸損失関数と非線形な重み依存性を有する深層均衡線形モデルに対して、グローバル収束を保証できるか？
• RQ2 暗黙の層の勾配ダイナミクスと信頼領域ニュートン法のような古典的最適化手法との間にはどのような関係があるか？
• RQ3 暗黙の層のインプリシットバイアスは、深層均衡モデルにおける最適化と一般化にどのように影響を与えるか？
• RQ4 幅に関する仮定（例：幅 ≥ 出力次元）が欠如している場合、DELMにおける収束保証に影響を与えるか？
• RQ5 深層線形ネットワークの理論的枠組みを、重みの共有と非線形重みを有する暗黙的・無限深さモデルに拡張できるか？

主な発見

• 非凸損失関数のもとで、回帰および分類の両問題においてグローバル最適解へのグローバル収束が保証され、線形収束レートを示す。
• モデルの幅に関するいかなる仮定も必要とせず、出力次元やデータポイント数よりも幅が小さい場合を含む状況でも収束解析が成立する。
• 深層均衡線形モデルの勾配ダイナミクスと、浅い明示的ネットワークに適用された信頼領域ニュートン法との間で、正確な数学的同等性が確立された。
• 数値結果により理論的リンクが確認され、暗黙の層におけるインプリシットバイアスが最適化性能において重要な役割を果たしていることが示唆された。
• 従来の深層線形ネットワークに関する研究とは異なり、本研究の理論的証明は暗黙の層、重みの共有、重みへの非線形性を考慮している。
• 本研究は、暗黙の層のインプリシットバイアスを理解するための未解決問題を明らかにし、今後の研究における重要性を強調した。