[논문 리뷰] Deep Learning of Preconditioners for Conjugate Gradient Solvers in Urban Water Related Problems

Johannes Sappl, Laurent Seiler외 2명|arXiv (Cornell University)|2019. 06. 17.

Model Reduction and Neural Networks참고 문헌 17인용 수 6

한 줄 요약

이 논문은 도시 수자원 공학 분야의 공액상승(CG) 해법기에서 문제에 특화된 예조건자(preconditioner)를 자동으로 학습하기 위해 컨volutional 신경망(CNN)을 사용하는 딥러닝 접근법을 제안한다. 이 방법은 희박하고 효율적인 예조건자 행렬을 학습함으로써 수렴 속도를 크게 향상시켜, 유체 시뮬레이션과 배관망 문제에서 전통적인 방법들인 가상의 가우스-세이델(AMG)과 완전하지 않은 콜레스키 분해법보다 뛰어난 성능을 보이며 최대 23배의 속도 향상을 달성한다.

ABSTRACT

Solving systems of linear equations is a problem occuring frequently in water engineering applications. Usually the size of the problem is too large to be solved via direct factorization. One can resort to iterative approaches, in particular the conjugate gradients method if the matrix is symmetric positive definite. Preconditioners further enhance the rate of convergence but hitherto only handcrafted ones requiring expert knowledge have been used. We propose an innovative approach employing Machine Learning, in particular a Convolutional Neural Network, to unassistedly design preconditioning matrices specifically for the problem at hand. Based on an in-depth case study in fluid simulation we are able to show that our learned preconditioner is able to improve the convergence rate even beyond well established methods like incomplete Cholesky factorization or Algebraic MultiGrid.

연구 동기 및 목표

• 도시 수자원 공학 애플리케이션에서 큰 희박한 대칭 양의 정부형( SPD ) 선형 시스템을 푸는 데 발생하는 계산적 병목 현상을 해결하기 위해.
• 전문 지식이 필요한 수작업으로 만든 예조건자들이 문제 변화에 따라 성능이 떨어지는 한계를 극복하기 위해.
• 수치 정확도를 유지하면서도 데이터 기반의 자동화된 예조건자 설계 방법을 딥러닝을 통해 개발하기 위해.
• 실제 수자원망 구성과 다양한 문제 크기에서의 일반화 능력과 효율성을 평가하기 위해.

제안 방법

• 시스템 행렬 A에서 예조건자 행렬 M⁻¹로 매핑하는 컨volutional 신경망(CNN)을 학습하여, A M⁻¹의 조건수를 최소화한다.
• 손실 함수는 특이값 분해(SVD)를 통해 계산된 예조건된 시스템의 조건수로 정의된다.
• 유체역학 및 배관망 시뮬레이션에서 유도된 SPD 행렬 데이터셋을 기반으로 비지도 학습 방식으로 모델을 훈련한다.
• 예조건은 오른쪽 예조건화를 통해 구현되며, 이는 시스템 A x = b를 A M⁻¹ y = b로 변환하여 CG 수렴을 향상시킨다.
• 훈련된 CNN은 더 큰 문제 크기(예: 4096D)로 일반화되며, 시뮬레이션의 시간 단계 간에 재사용되어 시간에 따라 선형적인 속도 향상을 달성한다.
• 직접적인 머신러닝 근사치를 사용하지 않고 PCG 알고리즘을 활용하여 최종 해를 계산함으로써 수치 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 도시 수자원 시스템의 CG 해법기에서 효과적이고 문제에 특화된 예조건자를 자동으로 학습시킬 수 있는가?
• RQ2 AMG 및 완전하지 않은 콜레스키 분해법과 같은 기존 방법들과 비교해 봤을 때, 학습된 예조건자의 수렴 속도와 런타임 성능은 어떠한가?
• RQ3 CNN으로 학습된 예조건자는 다양한 문제 크기와 행렬 구조 간에 얼마나 잘 일반화되는가?
• RQ4 학습된 예조건자는 계산 비용을 크게 줄이면서도 수치 정확도를 유지할 수 있는가?

주요 결과

• 1024차원 유체 시뮬레이션 사례에서 학습된 예조건자는 기존의 순수 CG 방법 대비 최대 23배의 속도 향상을 달성했다.
• 동일한 사례에서 학습된 예조건자는 CG 반복 횟수를 98.15회에서 35.86회로 감소시켰으며, 조건수는 61.494를 유지했다.
• 학습된 예조건자는 AMG(99.471% 밀도)보다 훨씬 희박한(1.413% 밀도) 구조를 가지며, 이로 인해 반복 계산 속도와 전체 런타임 향상에 기여했다.
• 학습 크기 이외의 4096차원 문제에 대해서도 모델이 잘 일반화되어, 훈련 크기 이상의 문제에 대해서도 강건성을 입증했다.
• EPANET 2 기반의 배관망 시뮬레이션에서는 매트릭스의 밀도 증가로 인해 성능이 혼합된 결과를 보였으며, 이는 매트릭스 구조에 민감함을 시사했다.
• 유체역학 문제에서는 표준 예조건자보다 뛰어난 성능을 보였지만, 매우 산산이 흩어진 매트릭스 패턴에 대해서는 향후 조정이 필요하다.