[論文レビュー] Nonsmooth Implicit Differentiation for Machine Learning and Optimization

Jérôme Bolte, Tam Le+2 more|Toulouse 1 Capitole Publications (Université Toulouse I Capitole)|Jun 8, 2021

Mathematical Biology Tumor Growth参考文献 46被引用数 16

ひとこと要約

この論文は、保守的微積分とクラークのヤコビアンを用いて、滑らかでない成分を含む機械学習モデルにおける形式的部分微分を可能にする、滑らかでない暗黙関数定理を確立した。これは、深層均衡ネットワーク やハイパーパramータチューニングなどの実践的応用におけるアルゴリズム的微分の広範な成功を、弱く現実的で、滑らかでない仮定のもとで収束を保証する、きめ細やかな数学的基盤によって裏付けている。

ABSTRACT

In view of training increasingly complex learning architectures, we establish a nonsmooth implicit function theorem with an operational calculus. Our result applies to most practical problems (i.e., definable problems) provided that a nonsmooth form of the classical invertibility condition is fulfilled. This approach allows for formal subdifferentiation: for instance, replacing derivatives by Clarke Jacobians in the usual differentiation formulas is fully justified for a wide class of nonsmooth problems. Moreover this calculus is entirely compatible with algorithmic differentiation (e.g., backpropagation). We provide several applications such as training deep equilibrium networks, training neural nets with conic optimization layers, or hyperparameter-tuning for nonsmooth Lasso-type models. To show the sharpness of our assumptions, we present numerical experiments showcasing the extremely pathological gradient dynamics one can encounter when applying implicit algorithmic differentiation without any hypothesis.

研究の動機と目的

• 滑らかでない機械学習におけるアルゴリズム的微分の実証的成功と、理論的裏付けの欠如との間のギャップを埋めること。
• 古典的な逆関数則や合成関数則が失敗する状況においても、滑らかでない設定における暗黙的微分の数学的に厳密な基盤を提供すること。
• 深層均衡ネットワーク や円錐最適化レイヤーなどの複雑なモデルにおいて、クラークのヤコビアンを用いた形式的部分微分を可能にすること。
• 広範な滑らかでない機械学習問題において、確率的最適化アルゴリズムの収束保証を確立すること。
• 標準的なバックプロパゲーションツール（例：JAX）が、古典的微積分が失敗する状況でも、保守的微積分と一貫していることを示すこと。

提案手法

• 定義可能で滑らかでない問題に一般化された、滑らかでない保守的暗黙関数定理を導入すること。
• クラークの部分微分の一般化としての保守的ヤコビアンを用い、行列乗算の下で性質を保つようにすること。
• 方程式 $ J_F(z(x)) J_z(x) = J_h(x) $ を用いて暗黙的微分を定式化し、$ J_F $ と $ J_h $ を保守的ヤコビアンとする。
• 深層均衡ネットワーク のような固定点問題にこの枠組みを適用し、解を滑らかでない作用素の不動点として扱うこと。
• 射影作用素と保守的微積分を用いて、円錐最適化レイヤーの暗黙的解をモデル化することで、ニューラルネットワークに統合すること。
• 数値実験を通じて、構造的仮定なしにナーブな暗黙的微分を適用すると、病理的または不安定な勾配ダイナミクスが生じることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない機械学習モデルにおけるアルゴリズム的微分の実証的成功を、数学的に厳密な理論が裏付けることは可能か？
• RQ2 滑らかでない設定において、クラークのヤコビアンを用いた形式的部分微分が、暗黙関数に対していつ有効に保たれるか？
• RQ3 滑らかでない点や誤った導関数が存在するにもかかわらず、なぜ標準的なバックプロパゲーションが実際には信頼性を持って機能するのか？
• RQ4 保守的微積分を用いることで、滑らかでないディープラーニングアーキテクチャにおける確率的最適化の収束保証を確立できるか？
• RQ5 リプシのネットワーク やラッソ型モデルのような滑らかでない問題に古典的暗黙関数定理を適用する際の制限とは何か？

主な発見

• 提案された保守的暗黙関数定理は、古典的な逆関数則や合成関数則が失敗する状況でも、滑らかでない設定における暗黙的微分の数学的に整合性のある基盤を提供する。
• この枠組みにより、JAX などのバックプロパゲーションツールが、滑らかでないモデルでも保守的ヤコビアンを計算していることが示され、理論と一貫していることが裏付けられる。
• 数値実験により、構造的仮定なしにナーブな暗黙的微分を適用すると、混沌たるまたは不安定な勾配ダイナミクスが生じることが明らかになった。これは、提案された条件の必要性を強調している。
• この手法により、ステップサイズを徐々にゼロに近づけるミニバッチ確率的アルゴリズムが、広範なニューラルネットワークやラッソ型モデルにおけるハイパーパramータ選択の学習に対して収束することが可能になる。
• 深層均衡ネットワーク や円錐最適化レイヤーへの応用により、解が一意でなかったり、不連続であったりする場合でも、この枠組みが形式的部分微分を可能にし、エンドツーエンドの学習を支援することが示された。
• 理論により、アルゴリズム的微分が実際によく機能する理由が説明される：それは、滑らかでない文脈において合成や逆関数の下で重要な導関数の性質を保つ、保守的ヤコビアンを暗黙的に計算しているからである。