[論文レビュー] The Deep Ritz method: A deep learning-based numerical algorithm for solving variational problems

E Weinan, Bing Yu|arXiv (Cornell University)|Sep 30, 2017

Model Reduction and Neural Networks参考文献 9被引用数 14

ひとこと要約

Deep Ritz法は、深層ニューラルネットワークを用いて試行関数を表現し、確率的勾配降下法を用いてエネルギー汎関数を最小化することにより、偏微分方程式（PDE）に由来する変分問題を解くための深層学習ベースの数値アルゴリズムを提案する。1次元および5次元の無限井戸および調和振動子において、1%未満の誤差を達成し、高次元問題においても有望な性能を示している。

ABSTRACT

We propose a deep learning based method, the Deep Ritz Method, for numerically solving variational problems, particularly the ones that arise from partial differential equations. The Deep Ritz method is naturally nonlinear, naturally adaptive and has the potential to work in rather high dimensions. The framework is quite simple and fits well with the stochastic gradient descent method used in deep learning. We illustrate the method on several problems including some eigenvalue problems.

研究の動機と目的

• 変分問題、特にPDEを解くための新しい数値的手法の開発を目的とする。
• 深層ニューラルネットワークの合成関数近似能力を活用することで、従来の手法が高次元設定で抱える限界を克服することを目的とする。
• 問題の複雑さに自然に適応し、高次元で効率的にスケーリングできるフレームワークの構築を目的とする。
• 特に確率的勾配降下法（SGD）を用いた深層学習最適化とリーツ法を統合し、計算を効率化することを目的とする。

提案手法

• 試行関数 u(x;θ) を深層ニューラルネットワーク zθ(x) で表現し、その後に線形変換を適用する：u(x;θ) = a·zθ(x) + b。
• 2つの線形変換、ReLUに類似した活性化関数（ϕ(x) = max{x³, 0}）およびスキップ接続を含むブロックからなる残差ネットワークアーキテクチャを採用し、学習の安定化を図る。
• 変分汎関数 I(u) をモンテカルロサンプリングにより離散化し、各積分点を確率的最適化フレームワーク内のデータポイントとして扱う。
• 損失関数 L(θ) = ∫Ω g(x;θ) dx を最小化するために、ミニバッチを用いた確率的勾配降下法（SGD）を採用する。ここで g(x;θ) はエネルギー汎関数から導かれる。
• 固有値問題における正規化制約（∫Ω u²dx = 1）を満たすためにペナルティ項を適用し、学習の安定性と収束性の向上を図る。
• 固有値問題においては、連結ベースのスキップ接続（DenseNetにインspired）を用いた密度型残差ネットワーク構造を採用し、勾配の流れを向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、PDEの変分定式化における試行関数を効果的に表現できるか？
• RQ2 従来の手法が失敗する高次元問題において、Deep Ritz法はどのように性能を発揮するか？
• RQ3 非凸な変分エネルギー汎関数をPDEで最小化するために、確率的勾配降下法を効果的に適応できるか？
• RQ4 活性化関数やスキップ接続といったアーキテクチャ選択が、この手法の精度および安定性に与える影響は何か？
• RQ5 正規化制約とペナルティ項の導入が、固有値問題における収束性および解の品質に与える影響は何か？

主な発見

• 1次元の無限井戸問題において、Deep Ritz法は0.20%の誤差を達成し、正確な基底状態エネルギー λ₀ = 9.87 に対して近似値 9.85 を得た。
• 5次元の無限井戸では、0.11%の誤差を達成し、正確な λ₀ = 49.35 に対して近似値 λ₀ = 49.29 を得た。
• 10次元の無限井戸では誤差が6.43%に増加し、次元の上昇に伴う性能の低下が顕著に現れた。
• 1次元の調和振動子では0.16%の誤差（正確な λ₀ = 1、近似値 = 1.0016）を達成し、低次元での高い精度を示した。
• 5次元の調和振動子では誤差が1.6%に上昇し、10次元では12.6%にまで上昇し、次元の上昇に伴い誤差が著しく増加した。
• 正規化ペナルティ項（∫u²dx − 1）²の導入により、学習の安定性が向上し、より小さいペナルティ係数でも使用可能になり、収束性が向上した。