[논문 리뷰] Accelerating GMRES with Deep Learning in Real-Time

Kevin Luna, Katherine Klymko외 1명|arXiv (Cornell University)|2021. 03. 19.

Model Reduction and Neural Networks참고 문헌 19인용 수 4

한 줄 요약

이 논문은 대규모 선형 시스템을 위한 GMRES 반복 해법기를 실시간으로 가속화하기 위해 문제에 특화된 조건부 행렬을 시뮬레이션 중에 현장에서 학습하는 실시간 딥러닝 프레임워크인 MLGMRES를 제안한다. 경량의 비국소 신경망(FluidNet)을 사용하여 사전 훈련이나 대규모 데이터 요구 사항 없이도 시간-해결 속도에 약 2배의 성능 향상을 달성하며, 다양한 문제 크기와 다중 척도 듀플렉스와 같은 복잡한 소스 항목에서도 강건한 성능을 보여준다.

ABSTRACT

GMRES is a powerful numerical solver used to find solutions to extremely large systems of linear equations. These systems of equations appear in many applications in science and engineering. Here we demonstrate a real-time machine learning algorithm that can be used to accelerate the time-to-solution for GMRES. Our framework is novel in that is integrates the deep learning algorithm in an in situ fashion: the AI-accelerator gradually learns how to optimizes the time to solution without requiring user input (such as a pre-trained data set). We describe how our algorithm collects data and optimizes GMRES. We demonstrate our algorithm by implementing an accelerated (MLGMRES) solver in Python. We then use MLGMRES to accelerate a solver for the Poisson equation -- a class of linear problems that appears in may applications. Informed by the properties of formal solutions to the Poisson equation, we test the performance of different neural networks. Our key takeaway is that networks which are capable of learning non-local relationships perform well, without needing to be scaled with the input problem size, making them good candidates for the extremely large problems encountered in high-performance computing. For the inputs studied, our method provides a roughly 2$ imes$ acceleration.

연구 동기 및 목표

• 사전 훈련된 데이터나 전문가가 제공한 조건부 행렬에 의존하지 않고 실시간 과학 시뮬레이션에서 GMRES와 같은 반복 선형 해법기를 가속화하기 위해.
• 시뮬레이션 중에 실시간으로 적응하는 기계학습 프레임워크를 개발하여 문제의 진전에 따라 스트리밍 데이터로부터 효과적인 조건부 행렬을 학습하기 위해.
• 경량의 비국소 신경망이 모델 파rameter를 확장하지 않고도 문제 크기와 복잡한 소스 항력에 대해 일반화할 수 있는지 입증하기 위해.
• 특히 다중 척도 특징을 가진 포아송 방정식에 대해 PDE 기반 시뮬레이션의 시간-해결 속도를 크게 향상시키기 위해.
• 실시간에서 HPC 가속기를 효율적으로 활용하여 AI 기반 해법기 가속화를 실현하면서 시뮬레이션 워크로드를 방해하지 않기 위해.

제안 방법

• 딥러닝 신경망(FluidNet)을 GMRES 해법기 루프 내부에 직접 통합하여 실시간으로 업데이트되는 현장 조건부 행렬로 사용한다.
• 알고리즘 1을 통해 유의미한 잔여값 샘플만 유지하는 데이터 셀렉션 전략을 사용하여 훈련 데이터 볼륨을 약 10퍼센트의 시간 단위로 감소시킨다.
• 선형 시스템의 구조에서 장거리 상관관계를 포착하기 위해 비국소 주의 메커니즘을 갖춘 컨볼루션 신경망 아키텍처를 사용한다.
• 대규모 시뮬레이션 데이터셋에 대한 사전 훈련 없이 스트리밍 잔여값과 해의 업데이트를 사용하여 온라인으로 네트워크를 훈련시킨다.
• 각 GMRES 반복 단계에서 학습된 조건부 행렬을 적용하여 수렴 속도를 향상시키고 시간-해결 속도를 감소시킨다.
• 다양한 문제 해상도에 걸쳐 동일한 고정 크기의 신경망을 사용하여 모델 복잡도를 증가시키지 않고도 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 사전 훈련 데이터나 전문가 입력 없이 실시간으로 GMRES에 효과적인 조건부 행렬을 학습할 수 있는가?
• RQ2 비국소 신경망 아키텍처가 다양한 문제 크기와 다중 척도 듀플렉스와 같은 복잡한 소스 항목에 대해 얼마나 잘 일반화되는가?
• RQ3 PDE 시뮬레이션에서 실시간 온라인 훈련이 해법기 수렴과 시간-해결 속도에 어떤 영향을 미치는가?
• RQ4 경량의 고정 크기 신경망이 재훈련 없이도 다양한 해상도에서 일관된 가속 성능을 달성할 수 있는가?
• RQ5 스트리밍 및 현장 데이터를 사용할 경우, 표준 GMRES에 조건부 행렬 없이 사용하는 것보다 수렴 속도가 더 빠른가?

주요 결과

• MLGMRES 프레임워크는 여러 테스트 케이스에서 포아송 방정식의 시간-해결 속도에 약 2배의 성능 향상을 달성한다.
• 이 방법은 특히 다섯 번째 반복 단계에서의 오차가 약 10배 감소함으로써 GMRES의 수렴 속도를 크게 향상시킨다.
• 비국소 관계를 학습할 수 있는 신경망(예: FluidNet)은 다중 척도 문제에서 순수 컨볼루션 네트워크보다 뛰어난 성능을 보인다.
• 동일한 고정 크기의 신경망 아키텍처가 재훈련 없이도 다양한 문제 해상도에서 일관된 가속 성능을 달성한다.
• 훈련에 사용된 데이터 중 약 10퍼센트 이하의 시간 단위에서만 데이터가 유지되었으며, 이는 효율적인 데이터 셀렉션과 낮은 오버헤드를 보여준다.
• 이 프레임워크는 사전 훈련 없이도 완전히 실시간으로 작동하여 즉각적인 구현과 시뮬레이션 중 적응이 가능하다.