[논문 리뷰] The Deep Ritz method: A deep learning-based numerical algorithm for solving variational problems

E Weinan, Bing Yu|arXiv (Cornell University)|2017. 09. 30.

Model Reduction and Neural Networks참고 문헌 9인용 수 14

한 줄 요약

딥 릿츠 방법은 변분 문제, 특히 편미분방정식(PDE)에서 유래하는 문제들을 해결하기 위한 딥러닝 기반 수치 알고리즘을 제안한다. 이 방법은 시도 함수를 딥 네ural 네트워크로 표현하고, 확률적 경사 하강법을 통해 에너지 함수를 최소화한다. 고차원 문제, 예를 들어 고유값 문제에서 놀라운 성능을 보이며, 무한 우물과 조화진동자 문제에서 1차원 및 5차원에서 오차가 1% 이하로 나타난다.

ABSTRACT

We propose a deep learning based method, the Deep Ritz Method, for numerically solving variational problems, particularly the ones that arise from partial differential equations. The Deep Ritz method is naturally nonlinear, naturally adaptive and has the potential to work in rather high dimensions. The framework is quite simple and fits well with the stochastic gradient descent method used in deep learning. We illustrate the method on several problems including some eigenvalue problems.

연구 동기 및 목표

• 변분 문제, 특히 편미분방정식을 해결하기 위한 새로운 수치적 방법을 개발하기 위해.
• 딥 네ural 네트워크의 복합 함수 근사 능력을 활용하여 기존 방법이 고차원 환경에서 약한 점을 보완하기 위해.
• 문제의 복잡성에 자연스럽게 적응하고 고차원에서 효율적으로 확장 가능한 프레임워크를 구축하기 위해.
• 특히 확률적 경사 하강법(SGD)을 활용한 딥러닝 최적화와 리츠 방법을 통합하여 효율적인 계산을 수행하기 위해.

제안 방법

• 시도 함수 u(x;θ)를 딥 네ural 네트워크 zθ(x)로 표현한 후 선형 변환을 적용한다: u(x;θ) = a·zθ(x) + b.
• 두 개의 선형 변환, ReLU 유사 활성화 함수(ϕ(x) = max{x³, 0}) 및 스킵 연결을 포함하는 잔차 네트워크 아키텍처를 사용하여 학습을 안정화시킨다.
• 몬테카를로 샘플링을 통해 변분 함수 I(u)를 이산화하고, 각 통합 점을 확률적 최적화 프레임워크 내의 데이터 포인트로 간주한다.
• 손실 함수 L(θ) = ∫Ω g(x;θ) dx를 최소화하기 위해 미니배치를 사용한 확률적 경사 하강법(SGD)을 적용한다. 여기서 g(x;θ)는 에너지 함수에서 유도된다.
• 고유값 문제에서 정규화 조건(예: ∫Ω u²dx = 1)을 강제하기 위해 페널티 항을 적용하여 학습 안정성과 수렴 성능을 향상시킨다.
• 고유값 문제의 경우, 연결 기반 스킵 연결(디센스넷을 영감으로 삼음)을 사용한 조밀한 잔차 네트워크 구조를 적용하여 기울기 흐름을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 네ural 네트워크는 PDE의 변분 공식에서 시도 함수를 효과적으로 표현할 수 있는가?
• RQ2 기존 방법이 실패하는 고차원 문제에서 딥 릿츠 방법의 성능은 어떠한가?
• RQ3 비볼록 변분 에너지 함수를 최소화하기 위해 확률적 경사 하강법을 효과적으로 적용할 수 있는가?
• RQ4 활성화 함수와 스킵 연결과 같은 아키텍처 선택이 방법의 정확성과 안정성에 어떤 영향을 미치는가?
• RQ5 정규화 조건과 페널티 항은 고유값 문제에서 수렴성과 해 품질에 어떤 영향을 미치는가?

주요 결과

• 1차원 무한 우물 문제에서 딥 릿츠 방법은 0.20%의 오차를 기록했으며, 정확한 기본 상태 에너지 λ₀ = 9.87, 근사값 9.85를 얻었다.
• 5차원 무한 우물에서는 오차가 0.11%로 줄었으며, 정확한 λ₀ = 49.35, 근사값 λ₀ = 49.29를 기록했다.
• 10차원 무한 우물에서는 오차가 6.43%로 증가하여 고차원에서 성능 저하가 나타났다.
• 1차원 조화진동자 문제에서는 0.16%의 오차를 기록했으며(정확한 λ₀ = 1, 근사값 = 1.0016), 저차원에서 매우 높은 정확도를 보였다.
• 5차원 조화진동자 문제에서는 오차가 1.6%였고, 10차원에서는 12.6%로 상승하여 차원 증가에 따라 오차가 크게 증가함을 확인했다.
• 정규화 페널티 항(∫u²dx − 1)²의 포함으로 학습 안정성이 향상되었고, 더 작은 페널티 계수를 사용할 수 있었으며, 이는 수렴 성능 향상에 기여했다.