[論文レビュー] Some observations on high-dimensional partial differential equations with Barron data

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Dec 2, 2020

Model Reduction and Neural Networks参考文献 27被引用数 13

ひとこと要約

この論文は、スクリーンド・ポアソン方程式、熱方程式、粘性ハミルトニアン・ジャコビ方程式といった重要な高次元PDEの解が、PDEのデータがそのような空間に属する場合、Barron空間または木構造関数空間に属することを確立している。これにより、ニューラルネットワークによる近似が効率的に行える。一方で、Barron境界データを持つ調和関数ですら、Barron空間や木構造空間に属しないことがあることが示され、古典的正則性理論をニューラルネットワーク関数空間へと拡張する際の根本的限界が浮き彫りになった。

ABSTRACT

We use explicit representation formulas to show that solutions to certain partial differential equations lie in Barron spaces or multilayer spaces if the PDE data lie in such function spaces. Consequently, these solutions can be represented efficiently using artificial neural networks, even in high dimension. Conversely, we present examples in which the solution fails to lie in the function space associated to a neural network under consideration.

研究の動機と目的

• PDEのデータがBarron空間または木構造関数空間に属する場合、高次元PDEの解がその低複雑性構造を継承するかどうかを調査すること。
• 古典的滑らかさに基づく空間ではなく、深層ニューラルネットワークに基づく関数空間を土台とする現代的な正則性理論を、高次元PDEに対して構築可能かどうかを評価すること。
• 特に有界領域において、古典的PDE正則性理論をニューラルネットワークに基づく関数空間へと拡張する際の根本的障害を同定すること。
• Barronデータを持つPDEの解が、必ずしもBarron空間や木構造空間に属しないことを示し、PDEソルバーにおけるニューラルネットワークの適合性に関する仮定を揺るがすこと。
• データと解がともに同じ低複雑性関数空間に属する場合、収束速度が次元に依存しなくなることから、機械学習ベースのPDEソルバーにおける意味を明確にすること。

提案手法

• スクリーンド・ポアソン方程式、熱方程式、粘性ハミルトニアン・ジャコビ方程式の正則性を、基本解との畳み込みなどの明示的表現式を用いて、全空間上での解析を行う。
• 既知のBarron空間および木構造関数空間の特徴づけを応用し、特定の条件下で解がデータの関数空間への属性を継承することを検証する。
• 有界領域における反例の構築——具体的には、Barron境界データを持つ調和関数が、自身がBarron空間や木構造関数空間に属さない例——を用いて、正則性の伝播の失敗を示す。
• Barron関数の特異集合の幾何的構造を分析し、ℝ²では可算個の点と直線の和集合であることを示し、これは局所的にその空間に属していても、グローバルにBarron空間に属さない原因となる。
• 合成や座標変換などの非線形操作における、古典的関数空間（例：C²,α、ソボレフ空間）とBarron空間の挙動を比較し、根本的な不適合性を明らかにする。
• ドメイン分割と局所解析を用いて、Barron性が古典的滑らかさと同様に局所化できないことを示し、特にピecewise ReLU関数を持つU字型領域の例によってこれを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 Barronデータを持つ高次元PDEの解が、Barron空間または木構造関数空間に属するための条件は何か？
• RQ2 特に有界領域において、古典的正則性理論を深層ニューラルネットワークで定義される関数空間へと拡張できるか？
• RQ3 Barron性の局所化に根本的な障害がある場合、それは古典的関数空間の局所化とはどのように異なるか？
• RQ4 合成や座標変換などの非線形操作が、Barron空間や木構造空間の構造をどの程度保存するのか、そしてそれがPDEの正則性にどのように影響するか？
• RQ5 Barronデータを持つPDEが、一般用途のPDEソルバーの公平なベンチマークとはならないのはなぜか？ そして、機械学習ベースのソルバーにどのような意味を持つのか？

主な発見

• ℝᵈ上でのスクリーンド・ポアソン方程式において、Barronデータを持つ解はBarron空間に属し、2層のReLUネットワークによる近似において次元に依存しない収束速度が達成可能である。
• ℝᵈ上での熱方程式において、Barronデータを持つ解もBarron空間に属することを確認した。これは、時間発展がこの設定において低複雑性構造を保存することを示している。
• ℝᵈ上での粘性ハミルトニアン・ジャコビ方程式において、Barronデータを持つ解は深さ4の木構造関数空間に属する。これは、特定の非線形PDEではより深いネットワークが必要であることを示している。
• 有界領域では、Barron境界データを持つ調和関数が、いかなるBarron空間や木構造関数空間にも属しないことがある。U字型領域における、区分的ReLU関数を用いた反例によってこれを示した。
• ℝ²におけるBarron関数の特異集合は、可算個の点と直線の和集合である。これは、関数が局所的にその空間に属していても、グローバルにBarron空間に属さない原因となる。
• Barron空間は非線形微分同相写像に関して不変ではなく、Barron関数の合成は一般にBarron空間に属するとは限らない。これは、古典的滑らかさ関数空間とは異なり、標準的なPDE技法の適用を困難にする。