[論文レビュー] Multi-scale Deep Neural Networks for Solving High Dimensional PDEs

Wei Cai, Zhi‐Qin John Xu|arXiv (Cornell University)|Oct 25, 2019

Model Reduction and Neural Networks参考文献 19被引用数 19

ひとこと要約

この論文は、周波数ドメインにおけるラジアル周波数スケーリングとコンpactサポートを持つ活性化関数を用いることで、高周波数および高次元関数近似を向上させる、マルチスケール深層ニューラルネットワークMscaleDNNを提案する。高周波数成分を低周波数表現に変換することで、MscaleDNNは高次元PDEの学習を高速化し、精度を向上させ、リーツエネルギーと最小二乗残差最小化フレームワークの両方において、標準DNNを上回る性能を発揮する。

ABSTRACT

In this paper, we propose the idea of radial scaling in frequency domain and activation functions with compact support to produce a multi-scale DNN (MscaleDNN), which will have the multi-scale capability in approximating high frequency and high dimensional functions and speeding up the solution of high dimensional PDEs. Numerical results on high dimensional function fitting and solutions of high dimensional PDEs, using loss functions with either Ritz energy or least squared PDE residuals, have validated the increased power of multi-scale resolution and high frequency capturing of the proposed MscaleDNN.

研究の動機と目的

• 振動解を伴う高次元PDEを扱う際、標準DNNが高周波数近似に劣るために生じる課題に対処する。
• 周波数空間（k-space）におけるラジアルスケーリングを用いることで、既存のマルチスケールDNN（例：PhaseDNN）が直面する次元の呪いを克服する。
• 周波数ドメインにおけるマルチスケール表現を通じて、高次元関数の高周波数成分の効率的学習を可能にする。
• リーツエネルギーと最小二乗残差損失関数の両方を用いた、高次元楕円型PDEを解くスケーラブルなフレームワークを開発する。
• 科学的計算に適したマルチスケール能力を有する、将来のウェーブレットにインspiredしたDNNアーキテクチャの基盤を提供する。

提案手法

• 高周波数コンテンツを複数の周波数帯に分解するため、フーリエドメインを同心の円環にラジアル分割する。
• k-spaceにおけるラジアルスケーリングを用い、高周波数成分を低周波数表現にマッピングすることで、DNN学習を高速化する。
• マルチスケール解像度を保証し、重複する周波数カバレッジを回避するために、コンパクトサポートを持つ活性化関数を導入する。
• 周波数スケーリングにより各周波数帯に特化した複数のスケーリング済みニューロンを最初の隠れ層に構築する。
• 2つの損失関数を実装する：第一導関数のみを必要とするリーツエネルギー最小化と、ラプラシアンを必要とする最小二乗残差最小化。
• sReLU活性化関数と重み初期化スキーム（D1, D2）を用い、異なる次元およびスケールにおいて学習を安定化する。

実験結果

リサーチクエスチョン

• RQ1 フーリエドメインにおけるラジアル周波数スケーリングは、DNNにおける高周波数・高次元関数の近似を改善できるか？
• RQ2 提案されたMscaleDNNアーキテクチャは、振動解を伴う高次元PDEを解く際、標準DNNを上回る性能を発揮するか？
• RQ3 コンパクトサポートを持つ活性化関数の使用は、マルチスケール解像度と学習速度にどのような影響を与えるか？
• RQ4 MscaleDNNは、異なる損失関数形式を用いて、自己随伴型（例：シュレーディンガー方程式）および非自己随伴型（例：フォッカー・プランク方程式）PDEの両方を効果的に処理できるか？
• RQ5 フェーズシフトベースの手法と比較して、マルチスケール設計は次元の呪いをどの程度緩和できるか？

主な発見

• 100スケールを用いたMscaleDNNは、高次元問題におけるリーツエネルギーと最小二乗残差学習の両方で、単一スケールDNNよりも著しく高速に収束した。
• d=25の場合、MscaleDNNは単一スケールネットワークよりも訓練誤差をより速く低減させ、高次元におけるスケーラビリティを示した。
• sReLU活性化関数と適切な重み初期化（D2）の使用により、特に高次元において収束がさらに加速された。
• リーツエネルギー最小化は第一導関数のみを必要とし、最小二乗残差最小化（ラプラシアンの完全な計算を要する）よりも計算コストが低かった。
• この手法は、sin(xi) + 100sin(10xi)のような項を含む、低周波数および高周波数成分を併せ持つ関数に対しても、高次元PDEを効果的に解くことができた。
• 数値結果により、MscaleDNNがk-spaceにおけるラジアルスケーリングを通じて高周波数コンテンツを学習可能な低周波数表現に変換し、効果的に高周波数成分を捉えていることが確認された。