[論文レビュー] A Flow Model of Neural Networks

Zhen Li, Zuoqiang Shi|arXiv (Cornell University)|Aug 21, 2017

Neural Networks and Applications参考文献 11被引用数 5

ひとこと要約

本稿では、ResNetsを輸送方程式の特性曲線法に結びつけることで、ニューラルネットワークの連続的フロー・モデルを提案する。残差ブロックが速度場のオイラー離散化から生じることを示し、より深いネットワークが一般化性能に優れる理由、ReLUを用いた2層残差ブロックが最適であること、そしてResNetsがプレーンネットワークよりも深い構造を取れる理由を解明する。微分方程式の視点から、深層学習の主要な現象を統一的に説明する。

ABSTRACT

Based on a natural connection between ResNet and transport equation or its characteristic equation, we propose a continuous flow model for both ResNet and plain net. Through this continuous model, a ResNet can be explicitly constructed as a refinement of a plain net. The flow model provides an alternative perspective to understand phenomena in deep neural networks, such as why it is necessary and sufficient to use 2-layer blocks in ResNets, why deeper is better, and why ResNets are even deeper, and so on. It also opens a gate to bring in more tools from the huge area of differential equations.

研究の動機と目的

• 微分方程式を用いて、ResNetsとプレーンニューラルネットワークの両方の連続的フロー・モデルを確立すること。
• 輸送方程式およびその特性を通じて、残差接続の必要性、深さの利点、2層残差ブロックの優位性といった深層学習現象を解明すること。
• ResNetsとプレーンネットワークを共通の連続的フレームワークで統一し、ResNetsが同一のフロー・モデルを時間離散化することで得られるプレーンネットワークの改良版であることを示すこと。
• 偏微分方程式（PDE）および力学系の手法を応用して、深層学習モデルの理解と向上を促進する新たな道筋を開くこと。

提案手法

• 線形輸送方程式の特性常微分方程式（ODE）の時間離散化としてResNetsをモデル化し、速度場をネットワークの重みと活性化でパラメータ化する。
• 特性曲線法を用いて、終端値関数f(x)が時間逆方向に伝搬されることを示し、これはニューラルネットワークの順方向伝搬と一致する。
• 線形変換と非線形活性化関数を別々にフローとしてモデル化し、それを統合することでプレーンネットワークの連続的フロー・モデルを構築する。
• プレーンネットワークのフロー・モデルを適切に離散化することで、ResNetアーキテクチャが再構成され、ResNetsがプレーンネットワークの改良版であることが示される。
• ニューラルネットワークの学習を、初期データをターゲットラベルに写像する時間依存速度場を求める逆問題として扱う。
• 既知のPDE技術（正則化、散逸項など）を活用し、ドロップアウトや最適化との関連を含め、新しい学習戦略の提案を行う。

実験結果

リサーチクエスチョン

• RQ1 ReLU活性化関数を用いた場合、なぜResNetsは2層ブロックを必要とし、なぜこの構造が最適なのであろうか？
• RQ2 なぜ一般に深いアーキテクチャがニューラルネットワークにおいて優れているのか？ これは連続的フロー動力学とどのように関係するのか？
• RQ3 プレーンネットワークとResNetsは、連続的フロー・フレームワークを通じてどのように正式に結びつけられるのか？
• RQ4 輸送PDEの解として見なすことにより、深層ネットワークの一般化性能や学習安定性に関する新たな知見は何か？
• RQ5 PDE分野の逆問題技法を、ニューラルネットワークの学習をより効果的にするように応用できるか？

主な発見

• ResNetsは、輸送方程式の特性ODEのオイラー離散化と数学的に同等であり、残差学習に連続的解釈を提供する。
• ReLUネットワークでは2層残差ブロック構造が不可欠である。内側の重みが特徴空間内の位置を指定し、外側の重みが速度の大きさと方向を制御する必要があるが、これはReLUの非対称性に起因する。
• より深いネットワークが有効であるのは、連続的フロー・モデルが複雑なデータ変換を達成するためには小さな時間ステップと多数の反復が必要であり、これはニューラルネットワークの深さに類似しているからである。
• ResNetsは、同じ基本的フロー・モデルを時間離散化することで得られるため、本質的にプレーンネットワークよりも深い構造を持つ。
• 連続的フロー・モデルにより、ResNetsがより容易に学習できる理由が説明される。それは、データを段階的かつ規則正しく変形するためであり、プレーンネットワークの不定な変形とは対照的である。
• 学習の逆問題定式化により、輸送方程式の速度場を最適化することで新しい学習アルゴリズムが得られる可能性があり、散逸正則化を通じてドロップアウトとの関連も示唆される。