[論文レビュー] On the Mathematical Understanding of ResNet with Feynman Path Integral

Minghao Yin, Xiu Li+2 more|arXiv (Cornell University)|Apr 16, 2019

Model Reduction and Neural Networks参考文献 8被引用数 8

ひとこと要約

本稿は、深層学習における残差ネットワーク（ResNet）と量子力学におけるファインマン経路積分形式との間の数学的同等性を確立している。残差ブロックが偏微分方程式（PDE）の解に対応しており、ネットワークの順方向伝搬が $ e^{-S} $ に重み付けされたすべての可能な経路の和に等しいことを示している。ここで $ S $ は作用である。この枠組みにより、残差学習のロバストネスと勾配消失の緩和が、経路積分的解釈によって説明される。

ABSTRACT

In this paper, we aim to understand Residual Network (ResNet) in a scientifically sound way by providing a bridge between ResNet and Feynman path integral. In particular, we prove that the effect of residual block is equivalent to partial differential equation, and the ResNet transforming process can be equivalently converted to Feynman path integral. These conclusions greatly help us mathematically understand the advantage of ResNet in addressing the gradient vanishing issue. More importantly, our analyses offer a path integral view of ResNet, and demonstrate that the output of certain network can be obtained by adding contributions of all paths. Moreover, the contribution of each path is proportional to e^{-S}, where S is the action given by time integral of Lagrangian L. This lays the solid foundation in the understanding of ResNet, and provides insights in the future design of convolutional neural network architecture. Based on these results, we have designed the network using partial differential operators, which further validates our theoritical analyses.

研究の動機と目的

• 残差ネットワーク（ResNet）の深層学習における成功、特に勾配消失問題の克服に関する厳密な数学的基盤を提供すること。
• 残差ブロックと偏微分方程式（PDE）の解との間の正式な同等性を確立すること。
• ResNetの順方向伝搬を、量子力学にインspiredされたすべての可能な隠れ状態遷移経路の和としての経路積分として解釈すること。
• 畳み込みカーネルを置き換えるPDEに基づく新しいニューラルネットワークアーキテクチャを提案し、理論的枠組みを実証すること。
• 理論的および実験的分析を用いて、重みの摂動に対する残差ブロックのロバストネスを示すこと。

提案手法

• フーリエ変換を用いて、残差ブロックと周波数ドメインにおける一次偏微分方程式との同等性を導出する。
• ResNetの順方向伝搬が、各経路が $ S $ に比例して重み付けされた経路積分形式に等しいことを示し、ここで $ S $ はラグランジアンの時間積分である。
• ファインマン経路積分形式を用いて、残差学習プロセスをすべての可能な隠れ状態遷移の和として再解釈する。
• 畳み込みカーネルを二次偏微分方程式（PDE）作用素に置き換えたPDEに基づくニューラルネットワーク（PDE-Net）を構築し、パラメータ数を削減しながら性能を維持する。
• $3\times3$ 畳み込みカーネルを $1\times3$ および $3\times1$ 畳み込みに分解することで、パラメータ効率性とPDE作用素との同等性を検証する。
• CIFAR-10で実験を行い、重み摂動下におけるResNet、PDE-Net、および分解済みネットワークの精度とロバストネスを比較する。

実験結果

リサーチクエスチョン

• RQ1 ResNetの残差ブロックは、偏微分方程式の解に対応する正式な写像を有するか？
• RQ2 ResNetの順方向伝搬は、すべての可能な隠れ状態遷移経路のファインマン経路積分として数学的に同等か？
• RQ3 経路積分的解釈は、深層ResNetにおける訓練安定性の向上と勾配消失の緩和を説明できるか？
• RQ4 PDE作用素に基づくニューラルネットワークアーキテクチャは、標準的なResNetと同等の性能を達成しつつ、パラメータ数を削減できるか？
• RQ5 残差ブロック構造は、標準的な畳み込みネットワークと比較して、重み摂動に対するロバストネスをどのように向上させるか？

主な発見

• 残差ブロックは周波数ドメインにおける一次偏微分方程式の解と数学的に同等であり、残差接続が時間発展作用素として機能する。
• ResNetの順方向伝搬は、各経路の寄与が $ S $ に比例するファインマン経路積分に等しく、ここで $ S $ はラグランジアンの時間積分である。
• PDEに基づくネットワーク（PDE-Net）は、ResNetと同等のテスト精度（50層でCIFAR-10で93.21％）を達成し、理論的同等性が検証された。
• カーネルを $1\times3$ および $3\times1$ 畝み込みに分解しても性能が維持される（50層ネットワークで94.02％の精度）ことから、PDE解釈が確認された。
• ResNetは、VGG-16のような標準的なCNNと比較して、重み摂動に対して著しく高いロバストネスを示し、ノイズ下でも精度の低下が遅く、$ e^{-S} $ に重み付けされた経路積分モデルと整合的である。
• 理論的枠組みにより、スキップ接続が勾配消失を防ぐ理由が説明された：周波数ドメインにおける指数的重み付けにより、深層部の情報伝達が安定する。