[論文レビュー] Backpropagation generalized for output derivatives

Vsevolod I. Avrutskiy|arXiv (Cornell University)|Dec 12, 2017

Neural Networks and Applications参考文献 16被引用数 6

ひとこと要約

この論文は、バックプロパゲーションアルゴリズムを一般化し、ネットワーク出力の入力に関する微分を用いて順方向ニューラルネットワークを学習させるもので、微分作用素の正確な計算を可能にする。この手法は、多変数入力における任意の順数の微分をサポートし、行列・ベクトル演算を用いて効率的な並列化を実現し、数値近似を伴わずにPDEを解くことが可能で、有限差分法に対する新しい正確な代替手法を提供する。

ABSTRACT

Backpropagation algorithm is the cornerstone for neural network analysis. Paper extends it for training any derivatives of neural network's output with respect to its input. By the dint of it feedforward networks can be used to solve or verify solutions of partial or simple, linear or nonlinear differential equations. This method vastly differs from traditional ones like finite differences on a mesh. It contains no approximations, but rather an exact form of differential operators. Algorithm is built to train a feed forward network with any number of hidden layers and any kind of sufficiently smooth activation functions. It's presented in a form of matrix-vector products so highly parallel implementation is readily possible. First part derives the method for 2D case with first and second order derivatives, second part extends it to N-dimensional case with any derivatives. All necessary expressions for using this method to solve most applied PDE can be found in Appendix D.

研究の動機と目的

• 重み勾配に加えて、ネットワーク出力の入力に関する微分を含めたバックプロパゲーションの拡張により、出力微分に基づく学習を可能にする。
• 偏微分方程式（PDE）を解くために、正確な微分作用素を用いた、ユニバーサルな順方向ネットワークの学習手法を提供する。
• 任意の順数の微分（1階、2階など）および多変数入力（2次元、N次元）を、任意の滑らかな活性化関数でサポートする。
• 行列・ベクトル表現を用いた高パフォーマンスで並列化可能な実装を可能にし、スケーラブルな学習を実現する。
• 有限差分法のような古典的数値手法の代替として、数値的粘性やメッシュベースの離散化を回避する近似を伴わない代替手法を提供する。

提案手法

• 合成関数の微分法則と再帰的な行列・ベクトル積を用いて、隠れ層を通じた1階および2階微分の順方向伝播を導出する。
• ファウ・ディ・ブルーノの公式を用いて、活性化関数の高階微分を計算する一般化された微分作用素 $\mathbb{D}^S$ を導入する。
• ヤコビ行列に類似した項 $W_{(n)(n-1)}^{\theta\kappa}\sigma'(z_{n-1}^\kappa)$ を含む行列・ベクトル表現を用いて、微分伝播を表現する。
• 高階微分を、微分インデックスの分割の和に分解するためのファウ・ディ・ブルーノの組合せ論的公式を適用する。
• 出力微分に関する合成関数の微分法則を用いて重みおよびバイアスの勾配式を導出し、RProp や勾配降下法などの標準最適化手法との統合を可能にする。
• 2次元からN次元入力への拡張を図るため、微分インデックスおよび作用素構造を一般化する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションは、出力値に加えて、入力に関する出力微分に対しても一般化可能か？
• RQ2 この一般化された手法は、数値近似を伴わず、数値的粘性などの問題を回避する正確な微分作用素を計算可能か？
• RQ3 標準的な順方向ネットワークを用いて、多変数入力空間における任意の順数微分を統一的かつスケーラブルなアルゴリズムで導出可能か？
• RQ4 行列・ベクトル演算をどのように活用することで、微分学習のための効率的かつ並列化可能な実装が可能になるか？
• RQ5 この手法を用いて、微分方程式および境界条件を満たすようにネットワークを学習させることで、PDEを解くことが可能か？

主な発見

• 一般化されたバックプロパゲーションアルゴリズムにより、ニューラルネットワーク出力の入力に関する任意の順数微分を正確に計算可能であり、数値近似を回避できる。
• 任意の数の隠れ層と、十分に滑らかな任意の活性化関数をサポートし、広範な応用可能性を有する。
• 微分伝播は行列・ベクトル積として実装されており、現代のハードウェアで効率的かつ高度に並列化可能な学習を実現する。
• 付録Dでは、2次元およびN次元の両ケースにおいて、すべての標準的PDE作用素をカバーする、すべての必要な微分の明示的表現が提供されている。
• このアプローチにより、微分方程式を直接満たすようにネットワークを学習させることで、メッシュフリーな有限差分法の代替としてPDEを解くことが可能になる。
• 既存の数値解を、残差誤差を補正するようにネットワークを学習させることで、精度を向上させる応用も可能である。