[논문 리뷰] Quasi-Monte Carlo sampling for machine-learning partial differential equations

Jingrun Chen, Rui Du외 2명|arXiv (Cornell University)|2019. 11. 05.

Mathematical Approximation and Integration참고 문헌 21인용 수 4

한 줄 요약

이 논문은 고차원 편미분방정식(PDE)을 위한 딥 러닝 기반 해법에서 몬테카를로(MC) 샘플링을 준-몬테카를로(QMC) 샘플링으로 대체하는 것을 제안한다. 특히 딥 리츠 방법 프레임워크 내에서, 난수 샘플 대신 저이분산 수열(low-discrepancy sequences)을 사용함으로써 동일한 정확도를 확보하기 위해 훈련 데이터 요구량을 두 자릿수 이상 감소시키며, 이론적 분석을 통해 QMC 적분 오차 비율에 비례하는 수렴 속도를 확보한다.

ABSTRACT

Solving partial differential equations in high dimensions by deep neural network has brought significant attentions in recent years. In many scenarios, the loss function is defined as an integral over a high-dimensional domain. Monte-Carlo method, together with the deep neural network, is used to overcome the curse of dimensionality, while classical methods fail. Often, a deep neural network outperforms classical numerical methods in terms of both accuracy and efficiency. In this paper, we propose to use quasi-Monte Carlo sampling, instead of Monte-Carlo method to approximate the loss function. To demonstrate the idea, we conduct numerical experiments in the framework of deep Ritz method proposed by Weinan E and Bing Yu. For the same accuracy requirement, it is observed that quasi-Monte Carlo sampling reduces the size of training data set by more than two orders of magnitude compared to that of MC method. Under some assumptions, we prove that quasi-Monte Carlo sampling together with the deep neural network generates a convergent series with rate proportional to the approximation accuracy of quasi-Monte Carlo method for numerical integration. Numerically the fitted convergence rate is a bit smaller, but the proposed approach always outperforms Monte Carlo method. It is worth mentioning that the convergence analysis is generic whenever a loss function is approximated by the quasi-Monte Carlo method, although observations here are based on deep Ritz method.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 이용한 고차원 PDE 해법에서 차원의 극복 문제를 해결한다.
• 기계학습 기반 PDE 해법 내에서 고차원 적분을 근사할 때 몬테카를로 샘플링의 비효율성을 해결한다.
• 준-몬테카를로(QMC) 샘플링이 훈련 데이터 크기를 현저히 줄일 수 있으며, 정확도를 유지하거나 향상시킬 수 있음을 보여준다.
• 강한 볼록성 가정 하에 QMC 기반 딥 러닝 해법의 이론적 수렴 분석을 제공한다.
• 딥 리츠 방법을 초월하여 딥 갈레르킨 등 다른 방법에도 적용 가능한 일반적 프레임워크를 구축한다.

제안 방법

• 고차원 영역에서 손실 함수 적분을 근사하기 위해 표준 몬테카를로 샘플링을 준-몬테카를로(QMC) 샘플링으로 대체한다.
• 이산도가 낮은 수열(Sobol’ 수열 등)을 독립적이고 동일하게 분포된 난수 샘플 대신 사용하여 통합 오차를 감소시킨다.
• 손실 함수가 PDE의 변분 형태인 딥 리츠 방법에 QMC 샘플링을 통합한다.
• 고정된 스텝 사이즈를 사용하는 확률적 경사하강법(SGD)을 적용하여 딥 뉴럴 네트워크 파라미터를 최적화한다.
• 기대 오차와 샘플링 오차 항 $ r(N) $을 포함하는 재귀 부등식을 사용하여 수렴성을 분석한다. 여기서 $ r(N) $은 QMC 적분 오차를 정량화한다.
• 기대 오차가 반복 횟수에 비례하여 선형적으로 감소하고, QMC 오차 비율 $ r(N) $에 비례함을 보여주는 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 준-몬테카를로 샘플링이 딥 러닝 기반 PDE 해법에서 주어진 정확도를 확보하기 위해 필요한 훈련 데이터 크기를 줄일 수 있는가?
• RQ2 동일한 조건에서 QMC 기반 딥 뉴럴 네트워크 해법의 수렴 속도가 몬테카를로 대비 어떻게 다른가?
• RQ3 QMC 샘플링을 사용하여 손실 함수를 근사할 경우, 딥 러닝 PDE 해법의 이론적 수렴 행동은 어떠한가?
• RQ4 손실 함수가 볼록이 아닐 경우, 강한 볼록성 가정에 기반한 이론적 분석과는 달리 QMC의 성능 우월성이 유지되는가?
• RQ5 제안된 QMC 기반 방법은 딥 리츠 방법을 초월하여 다른 기계학습 PDE 해법에도 얼마나 일반화 가능한가?

주요 결과

• 동일한 정확도 요구 조건에서 준-몬테카를로 샘플링은 몬테카를로 샘플링 대비 훈련 데이터 크기를 두 자릿수 이상 감소시킨다.
• 수치 실험 결과 QMC 기반 방법의 수렴 속도는 이론적 경계보다 略로 낮지만, 정확도와 효율성 측면에서 항상 몬테카를로를 앞선다.
• 강한 볼록성 가정 하에 기대 오차가 반복 횟수에 비례하여 선형적으로 감소하고, QMC 적분 오차 비율 $ r(N) $에 비례함을 이론적으로 증명한다.
• 손실 함수가 강하게 볼록할 경우 기대 오차는 $ \frac{\alpha L C_V}{2c\mu} r(N) $로 수렴하며, $ N \to \infty $ 일 때 0으로 수렴함을 보여, 수렴성을 확인한다.
• 비볼록 조건에서도 실질적으로 QMC 샘플링은 MC를 능가하므로, 이론적 가정을 초월한 강건성을 보인다.
• 제안된 방법은 고차원 적분을 샘플링으로 근사하는 곳이라면, 딥 갈레르킨 방법 등 다른 기계학습 PDE 해법에도 일반적으로 적용 가능하다.