[논문 리뷰] Deep Multigrid: learning prolongation and restriction matrices

Alexandr Katrutsa, Talgat Daulbaev외 1명|arXiv (Cornell University)|2017. 11. 10.

Model Reduction and Neural Networks참고 문헌 24인용 수 13

한 줄 요약

이 논문은 기하학적 다중격자 방법을 깊이 신경망으로 재구성하여 역전파를 통해 보간 및 제약 연산자를 최적화하는 새로운 방법인 Deep Multigrid(DMG)을 제안한다. Gelfand의 공식과 자동 미분을 사용해 스펙트럼 반경의 확률적 근사값을 최소화함으로써, 1D 포아송, 헬름홀츠, 그리고 대류-확산 방정식에서 표준 및 대수적 다중격자 방법보다 빠른 수렴 속도를 달성한다.

ABSTRACT

This paper proposes the method to optimize restriction and prolongation operators in the two-grid method. The proposed method is straightforwardly extended to the geometric multigrid method (GMM). GMM is used in solving discretized partial differential equation (PDE) and based on the restriction and prolongation operators. The operators are crucial for fast convergence of GMM, but they are unknown. To find them we propose a reformulation of the two-grid method in terms of a deep neural network with a specific architecture. This architecture is based on the idea that every operation in the two-grid method can be considered as a layer of a deep neural network. The parameters of layers correspond to the restriction and prolongation operators. Therefore, we state an optimization problem with respect to these operators and get optimal ones through backpropagation approach. To illustrate the performance of the proposed approach, we carry out experiments on the discretized Laplace equation, Helmholtz equation and singularly perturbed convection-diffusion equation and demonstrate that proposed approach gives operators, which lead to faster convergence.

연구 동기 및 목표

• 기하학적 다중격자 방법(GMM)에서 최적의 제약 및 보간 연산자를 설계하는 데 도전하는 문제를 해결하기 위해.
• 특정 아키텍처를 가진 깊이 신경망으로 이중격자 방법을 재구성하여 다중격자 연산자의 엔드 투 엔드 최적화를 가능하게 하기 위해.
• Gelfand의 공식을 사용한 스펙트럼 반경의 확률적 근사값에 기반한 미분 가능한 손실 함수를 개발하여, 주요 고유벡터 계산을 피하기 위해.
• 학습된 연산자가 표준 선형 보간 및 대수적 다중격자(AMG)보다 모델 PDE에서 수렴 속도가 더 빠른가를 입증하기 위해.
• 다양한 PDE에 적용 가능한 일반화 가능한 데이터 기반의 다중격자 연산자 학습 방법의 기반을 마련하기 위해.

제안 방법

• 각 다중격자 연산(스무딩, 제약, 보간, 굵은 격자 해법)이 네트워크의 레이어에 해당하는 깊이 신경망으로 이중격자 다중격자 반복을 재구성한다.
• 반복 행렬의 스펙트럼 반경을 최소화할 목표로 정의하지만, 이를 실수적 추정치로 대체하여 미분 가능성을 확보한다.
• Autograd를 통해 스펙트럼 반경 근사값의 기울기를 제약 및 보간 연산자에 대해 자동 미분으로 계산한다.
• Adam 최적화기로 연산자를 최적화하며, 수렴을 향상시키기 위해 호모토피 연속 방법으로 초기화한다.
• 랜덤 초기 벡터의 고정된 수를 사용해 포아송, 헬름홀츠, 대류-확산 방정식의 이산화된 PDE 시퀀스에서 연산자를 훈련시킨다.
• 학습된 연산자를 다중 격자 수준에 걸쳐 재귀적으로 적용하여 이중격자 설정을 전체 기하학적 다중격자로 확장한다.

실험 결과

연구 질문

• RQ1 기하학적 다중격자 방법을 깊이 신경망으로 재해석하여 핵심 구성 요소의 미분 가능한 최적화를 가능하게 할 수 있는가?
• RQ2 주요 고유벡터 계산 없이도 스펙트럼 반경의 확률적, 미분 가능한 근사값을 효과적으로 사용해 제약 및 보간 연산자를 훈련시킬 수 있는가?
• RQ3 학습된 다중격자 연산자가 벤치마크 PDE에서 표준 선형 보간 및 대수적 다중격자(AMG)보다 더 빠른 수렴을 달성하는가?
• RQ4 호모토피 초기화 전략이 다중격자 연산자 학습의 최적화 과정을 어떻게 향상시키는가?
• RQ5 학습된 연산자를 피드포워드 방식으로 다양한 PDE나 계수 설정 간에 일반화하는 것은 가능한가?

주요 결과

• 제안된 딥 멀티그리드(DMG) 방법은 역전파를 사용해 제약 및 보간 연산자를 성공적으로 최적화하여, 선형 보간을 사용하는 표준 기하학적 다중격자보다 더 빠른 수렴 속도를 달성한다.
• 1D 포아송 방정식에서, DMG는 테스트된 모든 격자 크기(n = 63에서 511)에서 스펙트럼 반경을 0.1 이하로 낮추며, 선형 및 AMG 방법보다 뛰어난 성능을 보였다.
• 헬름홀츠 방정식에서, DMG는 n = 511일 때 약 0.05의 스펙트럼 반경을 달성했으며, 선형 방법보다 훨씬 낮고 AMG와 유사한 성능을 보였지만 실험적으로 더 빠른 수렴 속도를 보였다.
• 특이하게 편경한 대류-확산 방정식에서, DMG는 고해상도 격자에서도 스펙트럼 반경이 0.05 이하로 유지되며 뛰어난 성능을 보였고, 선형 및 AMG 방법은 더 높은 값을 보였다.
• Gelfand의 공식에 기반한 확률적 추정치는 효율적인 기울기 계산을 가능하게 하여 최적화의 실현 가능성과 대규모 시스템에 대한 확장성을 확보한다.
• 호모토피 초기화 방법은 수렴 안정성을 향상시키고 낮은 국소 최적값을 피하는 데 기여하여 다중격자 연산자의 신뢰성 있는 훈련을 가능하게 한다.