[論文レビュー] A mathematical model for automatic differentiation in machine learning

Jérôme Bolte, Edouard Pauwels|arXiv (Cornell University)|Jun 3, 2020

Computability, Logic, AI Algorithms参考文献 39被引用数 24

ひとこと要約

本稿は、機械学習における自動微分（AD）のための数学的枠組みを提案し、滑らかでない関数におけるADの不安定性を解消するために選択微分と滑らかでない微分法を導入する。ADが生成する人工的臨界点が関数の構造ではなくプログラム表現に起因することを示し、確率的最適化法がそれらの偽の臨界点を確率1で回避することを証明することで、実用的なADの厳密な操作的モデルを提供する。

ABSTRACT

Automatic differentiation, as implemented today, does not have a simple mathematical model adapted to the needs of modern machine learning. In this work we articulate the relationships between differentiation of programs as implemented in practice and differentiation of nonsmooth functions. To this end we provide a simple class of functions, a nonsmooth calculus, and show how they apply to stochastic approximation methods. We also evidence the issue of artificial critical points created by algorithmic differentiation and show how usual methods avoid these points with probability one.

研究の動機と目的

• 現代の機械学習における滑らかでない、非凸関数に対して安定な数学的理論が欠如していることに対処すること。
• ADの結果と古典的微分の間の乖離を形式化し、ADが関数そのものではなくプログラム表現に対して作用することを示すこと。
• 機械学習で一般的な滑らかでない関数のクラスと、実際のAD挙動を捉える微分法（選択微分）を導入すること。
• 確率的最適化法がADによって生成される人工的臨界点を確率1で回避することを証明すること。
• PyTorch や TensorFlow などのディープラーニングフレームワークにおけるADの厳密な操作的モデルを提供すること。

提案手法

• プログラムからその数学的関数への標準的な全射 𝒫 → 𝒇 を導入し、ADが関数の同値性ではなくプログラム構造に対して作用することを示す。
• 機械学習で一般的な滑らかでない非凸関数のクラスに対して、選択微分を微分的対象として定義し、安定な微分法を可能にする。
• 定義可能集合と階層化理論を用いて、人工的臨界点や微分不能性が生じる集合の次元を分析する。
• バーレーのカテゴリ定理と測度論的議論を適用し、人工的臨界点に至る初期条件の集合が劣程度かつ零測度であることを示す。
• 有界性の仮定の下で、選択微分を用いた確率的部分勾配列がClarke臨界点に収束することを確立する。
• ほとんどすべての初期条件に対して、ADに基づく最適化によって生成される列が、平均がゼロのノイズを持つ確率的部分勾配法と等価であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ自動微分は、数学的に同値なプログラム（例：ReLUの異なる実装）に対して一貫しない導関数を生成するのか？
• RQ2 滑らかでない関数に対して、アルゴリズム的微分を一般化する数学的演算子を定義可能であり、非微分点における部分勾配の包含性といった重要な性質を保つことができるか？
• RQ3 ADが滑らかでない設定で導入する人工的臨界点の幾何学的および測度論的性質は何か？
• RQ4 実際の運用において、確率的最適化法はADによって生成される人工的臨界点をどのように回避するのか？
• RQ5 選択微分は、ディープラーニングフレームワークにおける実世界のAD挙動をモデル化するための数学的に整合的で操作的に有用な微分法を提供できるか？

主な発見

• 定理1により、ADが関数上で一貫した微分作用素として表現できないことが示され、プログラム依存の導関数値が生じる。
• 人工的臨界点はプログラム表現に起因し、関数構造とは無関係であり、零測度かつ位相的劣程度な集合に限定される。
• 人工的臨界点または微分不能性に至る初期条件の集合は、内部が空で、Lebesgue測度がゼロの閉集合である。
• ほとんどすべての初期条件に対して、ADに基づく最適化によって生成される列は、平均がゼロのノイズを持つ確率的部分勾配列と等価である。
• 有界性が保たれる限り、確率的最適化法はClarke臨界点にほとんど確実に収束する。これは、ADの偽の挙動にもかかわらず、実用的で高い耐障害性を示している。
• 選択微分は、機械学習における滑らかでない非凸関数に対して、数学的に整合的かつ操作的に有用な微分法を提供する。