[論文レビュー] Deep Residual Learning and PDEs on Manifold

Zhen Li, Zuoqiang Shi|arXiv (Cornell University)|Aug 17, 2017

Medical Imaging and Analysis参考文献 9被引用数 31

ひとこと要約

この論文は、多様体上の輸送方程式に対する制御問題として、深層残差ネットワーク（ResNets）を定式化し、残差ブロックが特徴線の前進オイラー離散化に対応することを示している。点群上での輸送、ハミルトニアン・ジャコビ（HJ）、および粘性ハミルトニアン・ジャコビ方程式に基づく新しいPDEベースの深層学習モデルを提案。離散化には点積分法と重み付き非局所ラプラシアンを用いる。

ABSTRACT

In this paper, we formulate the deep residual network (ResNet) as a control problem of transport equation. In ResNet, the transport equation is solved along the characteristics. Based on this observation, deep neural network is closely related to the control problem of PDEs on manifold. We propose several models based on transport equation and Hamilton-Jacobi equation. The discretization of these PDEs on point cloud is also discussed.

研究の動機と目的

• 深層残差ネットワークとPDEにおける特徴線法との間の理論的接続を確立すること。
• 多様体上での輸送方程式に従う制御問題としてResNetの学習を再定式化すること。
• 標準的なアーキテクチャを越えて、（終端値、速度場、数値スキームなど）のコンponentsを代替PDEモデルに置き換えることにより、ResNetを拡張すること。
• 点積分法と重み付き非局所ラプラシアンを用いて、非構造的点群上でのPDEの解法フレームワークを開発すること。
• ハミルトニアン・ジャコビ方程式および粘性ハミルトニアン・ジャコビ方程式を、安定性と一般化性能の向上を図る新しい深層学習モデルとして用いることの可能性を検討すること。

提案手法

• R^dにおける線形輸送方程式の終端境界値問題としてResNetを再定式化し、残差マッピングを速度場とみなす。
• 速度場を2層のReLU-BatchNormネットワークとしてモデル化し、前進オイラー離散化により残差ブロックの操作と直接的に関連付ける。
• 輸送方程式の特徴線を用いて、入力データポイントを時間逆方向にたどることで、ResNetの順方向伝搬を数値解として回復する。
• 代替PDEモデルとして、絶対勾配項を有するハミルトニアン・ジャコビ方程式と、ラプラシアン＝ベルトラミー散逸項を有する粘性ハミルトニアン・ジャコビ方程式を提案。
• 点群上でのPDE離散化に点積分法（PIM）を用い、カーネルベースの積分により多様体勾配およびラプラシアン＝ベルトラミー作用素を近似する。
• 粘性モデルにおける過剰な平滑化を防ぐために、ラベル付き学習点に制約を課し、データ忠実性を維持するとともに、正則性を確保する。

実験結果

リサーチクエスチョン

• RQ1 残差ネットワークアーキテクチャは、PDE制御問題の数値解として解釈可能か？
• RQ2 輸送方程式の特徴線および離散化は、深層ネットワークにおける残差ブロック操作とどのように関連するか？
• RQ3 ハミルトニアン・ジャコビ方程式や粘性HJ方程式といった代替PDEモデルは、標準的な残差学習を超えてResNetを一般化するために使用可能か？
• RQ4 規則的なグリッドなしに、非構造的点群上でのPDEの効果的解法は可能か？
• RQ5 ラプラシアン＝ベルトラミー作用素による散逸は、多様体上でのPDEベースの深層学習モデルの安定化にどのような役割を果たすか？

主な発見

• ResNetの学習は、特徴線に沿った輸送方程式に対する制御問題を解くことに等しく、残差マッピングが速度場を定義する。
• 輸送方程式の特徴線の前進オイラー離散化は、ResNet内の1つの残差ブロックを正確に再構成し、PDEとニューラルネットワークの直接的な対応関係を確立する。
• 標準的なソフトマックス終端値を重み付き非局所ラプラシアンに置き換えることで性能が向上し、半教師あり学習におけるより良い終端値モデリングの可能性を示唆する。
• 粘性ハミルトニアン・ジャコビ方程式モデルは、ラベル付き点に制約を課すことでデータ忠実性を維持しながら、散逸項によって解を正則化する。
• 点群上での離散化は点積分法により実現され、カーネル重み付き積分により多様体勾配およびラプラシアン＝ベルトラミー作用素を近似する。
• このフレームワークにより、代替数値ソルバーやPDEコンponentsの使用が可能となり、PDE理論に基づく深層学習モデルの設計に新たな道筋を拓く。