[論文レビュー] The differential calculus of causal functions

David Sprunger, Bart Jacobs|arXiv (Cornell University)|Apr 24, 2019

Neural Networks and Applications参考文献 10被引用数 3

ひとこと要約

この論文は、無限列から無限列へ時系列順でかつ記憶のない方法で写像する因果関数—すなわち、無限次元の微分をノルム付きベクトル空間に依存せずに定義する独自の無限次元微分を導入することで、因果関数のための新しい微分積分学を提案する。主な貢献は、エーリマンネットワークのような再帰的ニューラルネットワークの正確で構成的（compositionally）な微分を可能にする再帰的ルールの確立であり、手動計算と勾配ベースの学習による正確な局所近似によって検証されている。

ABSTRACT

Causal functions of sequences occur throughout computer science, from theory to hardware to machine learning. Mealy machines, synchronous digital circuits, signal flow graphs, and recurrent neural networks all have behaviour that can be described by causal functions. In this work, we examine a differential calculus of causal functions which includes many of the familiar properties of standard multivariable differential calculus. These causal functions operate on infinite sequences, but this work gives a different notion of an infinite-dimensional derivative than either the Fréchet or Gateaux derivative used in functional analysis. In addition to showing many standard properties of differentiation, we show causal differentiation obeys a unique recurrence rule. We use this recurrence rule to compute the derivative of a simple recurrent neural network called an Elman network by hand and describe how the computed derivative can be used to train the network.

研究の動機と目的

• ノルム付き空間やフレシェ・ゲオールドー微分に依存しない、因果関数が無限列上で作用する厳密な微分積分学の構築を目的とする。
• 再帰的ネットワークのバックプロパゲーション・スルー・タイム（BPTT）手法において、合成則（例：合成則、和則）が不足している問題を解決することを目的とする。
• 無限次元因果系に対して、有限次元と同様の導関数概念を数学的に整合的に提供し、実用的な勾配計算を可能にすることを目的とする。
• この微分積分学がエーリマンネットワークの学習にどのように応用できるかを示すこと、具体的には正確な導関数計算とパラメータ更新を伴う。

提案手法

• 因果関数を、k番目の出力が最初のk個の入力にのみ依存するものとして定義し、スライシングに基づく条件で形式化する。
• ノルム付き空間ではなく、有限近似によるアプローチに基づいて、実ベクトル列上の因果関数のための新しい微分の概念を導入する。
• 和則、積則、合成則などの古典的微分法則を、再帰的構造と有限近似を用いて因果関数に適応させたものである。
• 再帰的システムの微分を可能にする、新たな再帰的ルール（定理4.16）を導出する。このルールにより、時間軸に沿って双曲数（dual numbers）を後退的に伝播することで微分が実現される。
• エーリマンネットワークに対して、この微分積分学を手動で適用し、ネットワーク出力の重みパラメータに関する導関数を計算する。
• 計算された導関数を用いて勾配降下法に従いパラメータを更新し、望ましい動作に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 ノルム付きベクトル空間や標準的な関数解析的微分（フレシェ・ゲオールドー微分）を避けて、無限列上の因果関数に対して微分積分学を定義できるか？
• RQ2 この新しい微分積分学において、合成則、和則、積則などの合成則が成立するか。また、それらは古典的多変数微積分とはどのように異なるか？
• RQ3 再帰的システム（例：再帰的ニューラルネットワーク）の効率的かつ正確な微分を可能にする一意な再帰的ルールが存在するか？
• RQ4 この微分積分学は、エーリマンネットワークのような実世界の再帰的ネットワークアーキテクチャの学習にどのように応用できるか？
• RQ5 非線形かつ無限次元系において、この導関数がパラメータ更新のための局所的近似としてどれほど正確であるか？

主な発見

• 提案された導関数は、フレシェ微分やゲオールドー微分とは異なり、ノルム空間における極限ではなく、有限近似に基づいて定義されるため、本質的に異なる。
• この微分積分学は、和則、積則、合成則、逆数則といった標準的な法則をすべてサポートしており、これらは因果的文脈に適合された形で再定式化されている。
• 再帰的システムの微分を可能にする、新たな再帰的ルール（定理4.16）が導出された。このルールにより、時間軸に沿って双曲数を後退的に伝播することで、微分が実現される。
• この微分積分学を用いてエーリマンネットワークを手動で微分した結果、小さなステップでは約5％の誤差でパラメータ更新を予測でき、その正確性が裏付けられた。
• より大きなパラメータ調整は導関数に基づいて実施されたが、その結果、性能向上は顕著であったが、誤差は25～65％の過剰応答を示した。これは、線形近似の局所的有効性が確認された。
• この微分積分学により、アンローリングを必要とせず、再帰的ネットワークにおける正確で構成的な勾配計算が可能となり、バックプロパゲーション・スルー・タイムの理論的基盤が提供された。