[論文レビュー] Convergence rate of DeepONets for learning operators arising from advection-diffusion equations

Beichuan Deng, Yeonjong Shin+3 more|arXiv (Cornell University)|Feb 21, 2021

Model Reduction and Neural Networks参考文献 37被引用数 13

ひとこと要約

この論文は、線形および非線形の移流拡散方程式から解作用素を学習する際のDeepONetの収束速度を確立し、収束がブランチネットワークのアーキテクチャおよび入力・出力の滑らかさに依存することを示している。問題固有の構造、たとえば有理関数近似や有限差分スキームを活用することで、次元の呪いなしに最適な収束速度を証明している。

ABSTRACT

We present convergence analysis of operator learning in [Chen and Chen 1995] and [Lu et al. 2020], where continuous operators are approximated by a sum of products of branch and trunk networks. In this work, we consider the rates of learning solution operators from both linear and nonlinear advection-diffusion equations with or without reaction. We find that the convergence rates depend on the architecture of branch networks as well as the smoothness of inputs and outputs of solution operators.

研究の動機と目的

• 移流拡散方程式（反応項あり・なしを含む）から解作用素を学習する際のDeepONetの収束速度を分析すること。
• ブランチおよびトランクネットワークのアーキテクチャ、および入力・出力関数の滑らかさが収束速度に与える影響を調査すること。
• 解作用素の近似における高次元関数近似の次元の呪いを、解作用素の構造的性質を活用することで克服すること。
• 有限差分スキームと反復解法を用いて、線形移流拡散反応方程式のための特別なブランチネットワークアーキテクチャ（「幸運な表現」）を設計すること。
• トレーニングや最適化誤差に依存しない近似理論的観点からの理論的収束バウンドを確立すること。

提案手法

• 入力関数を符号化するブランチネットワークと、空間座標を符号化するトランクネットワークから成るDeepONetアーキテクチャを用い、各基底関数にわたる積和をとる。
• 解作用素を離散化するために有限差分スキームを適用し、反復解法により数値解を明示的に表現可能にする。
• 有理関数とReLUネットワークを用いて、バーガース方程式および線形移流拡散方程式からの解作用素を近似し、高次元関数近似の問題を回避する。
• 層ごとのネットワーク近似誤差と有限差分スキームからの切り捨て誤差を分析することで、誤差バウンドを導出する。
• ソボレフ埋没と補間誤差推定を用いて、真の解と補間解の差をバウンドする。
• 有限差分スキームの近似誤差、補間誤差、およびニューラルネットワーク近似誤差を組み合わせることで収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 線形および非線形移流拡散方程式から解作用素を学習する際のDeepONetの収束速度は何か？
• RQ2 解作用素の近似において、DeepONetが次元の呪いを回避できるか、そしてどのような構造的仮定が必要か？
• RQ3 入力および出力関数の滑らかさがDeepONetの収束速度に与える影響は何か？
• RQ4 特別なブランチネットワークアーキテクチャは、移流拡散反応方程式において最適な収束速度を達成できるか？
• RQ5 ネットワークの深さ、幅、および離散化パラメータに関して、解作用素近似におけるDeepONetの理論的誤差バウンドは何か？

主な発見

• 線形移流拡散方程式からの解作用素に対するDeepONetの収束速度は、$ m \to \bigcirc $ のとき $ \tilde{\rho} \to 0 $ に収束し、そのレートは $ \tilde{\rho} \to \rho \times m^{-1} $ である。ここで $ m $ は離散化点の数である。
• 線形移流拡散方程式の解作用素に対して、収束速度は $ \tilde{\rho} \to 0 $ に $ \tilde{\rho} \to \rho \times m^{-1} $ のレートで収束し、トランクネットワークの誤差はゼロである。
• 非線形移流拡散方程式の解作用素に対して、収束速度は $ \tilde{\rho} \to 0 $ に $ \tilde{\rho} \to \rho \times m^{-1} $ のレートで収束し、トランクネットワークの誤差はゼロである。
• 移流拡散反応方程式の解作用素に対して、収束速度は $ \tilde{\rho} \to 0 $ に $ \tilde{\rho} \to \rho \times m^{-1} $ のレートで収束し、トランクネットワークの誤差はゼロである。
• ネットワーク近似誤差は、$ \tilde{\rho} \to 0 $ に $ \tilde{\rho} \to \rho \times m^{-1} $ のレートでバウンドされ、トランクネットワークの誤差はゼロである。
• 全体の誤差バウンドは、$ \tilde{\rho} \to 0 $ に $ \tilde{\rho} \to \rho \times m^{-1} $ のレートでバウンドされ、トランクネットワークの誤差はゼロである。