[論文レビュー] Quasi-Monte Carlo sampling for machine-learning partial differential equations

Jingrun Chen, Rui Du+2 more|arXiv (Cornell University)|Nov 5, 2019

Mathematical Approximation and Integration参考文献 21被引用数 4

ひとこと要約

本稿では、高次元偏微分方程式（PDE）の深層学習ベースの解法において、モンテカルロ（MC）サンプリングの代わりに準モンテカルロ（QMC）サンプリングを導入することを提案する。特に、深層リーツ法の枠組み内で、乱数サンプルの代わりに低不規則性シーケンス（低分散列）を用いることで、同じ精度を達成するための訓練データ要件を2桁以上削減できる。理論的分析により、QMC統合誤差に比例する収束率を有することが確認されている。

ABSTRACT

Solving partial differential equations in high dimensions by deep neural network has brought significant attentions in recent years. In many scenarios, the loss function is defined as an integral over a high-dimensional domain. Monte-Carlo method, together with the deep neural network, is used to overcome the curse of dimensionality, while classical methods fail. Often, a deep neural network outperforms classical numerical methods in terms of both accuracy and efficiency. In this paper, we propose to use quasi-Monte Carlo sampling, instead of Monte-Carlo method to approximate the loss function. To demonstrate the idea, we conduct numerical experiments in the framework of deep Ritz method proposed by Weinan E and Bing Yu. For the same accuracy requirement, it is observed that quasi-Monte Carlo sampling reduces the size of training data set by more than two orders of magnitude compared to that of MC method. Under some assumptions, we prove that quasi-Monte Carlo sampling together with the deep neural network generates a convergent series with rate proportional to the approximation accuracy of quasi-Monte Carlo method for numerical integration. Numerically the fitted convergence rate is a bit smaller, but the proposed approach always outperforms Monte Carlo method. It is worth mentioning that the convergence analysis is generic whenever a loss function is approximated by the quasi-Monte Carlo method, although observations here are based on deep Ritz method.

研究の動機と目的

• 深層ニューラルネットワークを用いた高次元PDEの解法における次元の呪いを克服すること。
• 機械学習PDEソルバー内での高次元積分近似に用いられるモンテカルロサンプリングの非効率性を是正すること。
• 準モンテカルロ（QMC）サンプリングが、精度を維持または向上させながら、訓練データサイズを顕著に削減できることを実証すること。
• 強い凸性の仮定の下で、QMCに基づく深層学習ソルバーの理論的収束解析を提供すること。
• 深層リーツ法にとどまらず、深層ガラーキン法などの他の手法に対しても一般化可能なフレームワークを確立すること。

提案手法

• 高次元領域における損失関数の積分を近似するために、標準的なモンテカルロサンプリングの代わりに準モンテカルロ（QMC）サンプリングを採用する。
• i.i.d.乱数サンプルの代わりに、低不規則性シーケンス（例：ソボル列）を用いることで、統合誤差を低減する。
• 損失関数がPDEの変分形式である深層リーツ法にQMCサンプリングを統合する。
• 固定ステップサイズを用いた確率的勾配降下法（SGD）を用いて、深層ニューラルネットワークのパラメータを最適化する。
• 期待誤差とサンプリング誤差項 $ r(N) $ を含む再帰的不等式を用いて収束を分析する。ここで $ r(N) $ はQMC統合誤差を定量化する。
• 反復回数に線形に減少し、QMC誤差率 $ r(N) $ に比例する期待誤差の理論的バウンディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 準モンテカルロ（QMC）サンプリングは、深層学習ベースのPDEソルバーにおいて、所定の精度を達成するための訓練データサイズを削減できるか？
• RQ2 同じ条件下で、QMCに基づく深層ニューラルネットワークソルバーの収束速度は、モンテカルロ法と比べてどの程度異なるか？
• RQ3 QMCサンプリングを損失関数の近似に用いた場合、深層学習PDEソルバーの理論的収束挙動はいかなるものか？
• RQ4 損失関数が強い凸性を満たさない非凸な場合でも、QMCの性能優位性は維持されるか？（理論的仮定は強い凸性に依存しているが）
• RQ5 提案手法は、深層リーツ法にとどまらず、他の機械学習PDEソルバー（例：深層ガラーキン法）に対してもどの程度一般化可能か？

主な発見

• 同じ精度要件を満たす場合、準モンテカルロ（QMC）サンプリングはモンテカルロ（MC）サンプリングと比較して、必要な訓練データサイズを2桁以上削減できる。
• 数値実験の結果、QMCベースの手法の収束速度は理論的バウンディングをわずかに下回るが、精度と効率の両面でモンテカルロ法を一貫して上回っている。
• 理論的分析により、強い凸性の仮定の下で、深層ニューラルネットワーク解の期待誤差は反復回数に線形に減少し、QMC統合誤差率 $ r(N) $ に比例することが証明された。
• 損失関数が強く凸である場合、期待誤差は $ \frac{\alpha L C_V}{2c\mu} r(N) $ に収束し、$ N \to \infty $ のとき0に近づくため、収束が保証される。
• 非凸な状況下でも、実際の実験ではQMCサンプリングがMCを上回る性能を示しており、理論的仮定を超えたロバスト性が示唆される。
• 提案手法は一般性を有し、高次元積分をサンプリングにより近似する他の機械学習PDEソルバー（例：深層ガラーキン法）に対しても適用可能である。