[논문 리뷰] Reinforcement Learning for Adaptive Mesh Refinement

Jiachen Yang, Tarik Dzanic외 10명|arXiv (Cornell University)|2021. 03. 01.

Model Reduction and Neural Networks참고 문헌 44인용 수 7

한 줄 요약

이 논문은 적응형 메시 리파인먼트(AMR)를 마르코프 결정 과정(MDP)으로 공식화하고, 계산 예산 내에서 장기적 정확도를 최적화하는 메시 리파인먼트 정책을 딥 강화학습(RL)을 통해 훈련한다. 이 방법은 기존의 Zienkiewicz-Zhu 오차 추정기보다 뛰어나며, 메시 크기와 리파인먼트 예산에 걸쳐 일반화되며, 지상 진실 솔루션이 없이도 작동한다. 이는 RL이 순간적인 오차 기반 히우리스틱보다 우수한 예측형, 비그리디 정책 전략을 학습할 수 있음을 보여준다.

ABSTRACT

Large-scale finite element simulations of complex physical systems governed by partial differential equations (PDE) crucially depend on adaptive mesh refinement (AMR) to allocate computational budget to regions where higher resolution is required. Existing scalable AMR methods make heuristic refinement decisions based on instantaneous error estimation and thus do not aim for long-term optimality over an entire simulation. We propose a novel formulation of AMR as a Markov decision process and apply deep reinforcement learning (RL) to train refinement policies directly from simulation. AMR poses a new problem for RL as both the state dimension and available action set changes at every step, which we solve by proposing new policy architectures with differing generality and inductive bias. The model sizes of these policy architectures are independent of the mesh size and hence can be deployed on larger simulations than those used at train time. We demonstrate in comprehensive experiments on static function estimation and time-dependent equations that RL policies can be trained on problems without using ground truth solutions, are competitive with a widely-used error estimator, and generalize to larger, more complex, and unseen test problems.

연구 동기 및 목표

• 기존의 AMR 방법이 순순한 오차 추정에 기반한 히우리스틱적, 그리디한 리파인먼트 결정에 의존하여 장기적 최적성을 달성하지 못하는 한계를 해결하기 위해.
• 장기적 정확도의 누적 최적화를 가능하게 하기 위해, AMR을 마르코프 결정 과정(MDP)으로 재정의하여 순차적 결정 문제로 재구성하기 위해.
• 메시 크기에 독립적인 스케일러블이고 크기가 변하는 정책 아키텍처를 설계하여, 훈련에 사용된 시뮬레이션보다 더 큰 시뮬레이션에 적용 가능하게 하기 위해.
• 지상 진실 솔루션이 있는 작은 대표 문제에서 RL 정책을 훈련하고, 새로운 문제에 그대로 적용함으로써, 지상 진실 솔루션이 없는 경우에도 효과적으로 전이할 수 있도록 새로운 보상 공식을 사용하기 위해.
• RL이 미래의 솔루션 특징(예: 전파되는 프론트 또는 불연속성)을 예측하는 비그리디 정책 전략을 학습할 수 있는지 평가하기 위해.

제안 방법

• 메시 리파인먼트에 따라 동적으로 변화하는 상태 및 행동 공간을 가진 마르코프 결정 과정(MDP)으로 AMR을 공식화하며, 상태는 현재의 메시와 해를, 행동은 요소 리파인먼트 선택을 의미한다.
• 메시 구조와 국소적 특징 상호작용을 활용하여 크기가 변하는 상태 및 행동 공간을 다룰 수 있도록 설계된 세 가지 새로운 정책 아키텍처(그래프넷, IPN, GNN 기반)를 제안한다.
• 훈련을 위해 기준 솔루션에 대한 해의 오차 기반 보상 함수를 설계하고, 지상 진실이 없는 문제에 대해서는 상대 오차 향상과 시뮬레이션 기반 평가를 활용하여 이를 확장한다.
• 해석적 해가 알려진 작은 정적 테스트 문제(예: $8\times8$ 메시)에서 RL 정책을 훈련한 후, 더 큰, 새로운 메시와 시간에 따라 변화하는 문제에 배포한다.
• 커리큘럼 학습과 전이 학습 전략을 사용하여, 리파인먼트 예산과 메시 해상도에 걸쳐 일반화를 가능하게 하며, $64\times64$ 및 $200\times200$ 메시를 포함한다.
• 기존의 널리 사용되는 Zienkiewicz-Zhu(ZZ) 오차 추정기와 진짜 오차를 사용하는 오라클을 기준으로 하여, $L^2$ 및 $L^\infty$ 오차와 같은 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습은 Zienkiewicz-Zhu와 같은 기존의 히우리스틱 기반 오차 추정기보다 최종 해의 정확도 측면에서 뛰어난 적응형 메시 리파인먼트 정책을 학습할 수 있는가?
• RQ2 지상 진실 솔루션이 없는 작은, 저예산 시뮬레이션에서 훈련된 RL 정책이 재훈련 없이도 더 큰 메시와 더 높은 리파인먼트 예산에 일반화되는가?
• RQ3 지상 진실 솔루션이 없는 상태에서 훈련된 RL 정책이 정적 문제에서 시간에 따라 변화하는 문제(예: 대류)로 효과적으로 전이되는가?
• RQ4 RL 정책이 순순한 오차 기반 그리디 결정을 피하고 미래의 솔루션 특징을 예측하는 행동을 학습하는가?
• RQ5 실제 시뮬레이션에서 AMR의 동적 상태 및 행동 공간을 다룰 수 있는 스케일러블하고 메시 크기 독립적인 정책 아키텍처를 설계할 수 있는가?

주요 결과

• 작은 $8\times8$ 메시에서 $ B=10 $의 리파인먼트 예산으로 훈련된 RL 정책는 $16\times16$ 및 $64\times64$ 메시에서 Zienkiewicz-Zhu(ZZ) 추정기보다 더 뛰어난 성능을 보였으며, 이는 메시 크기 간 강력한 일반화를 보여준다.
• 시간에 따라 변화하는 대류 문제에서, $ B=20 $로 훈련된 RL 정책(Graphnet)은 $ B=50 $로 테스트했을 때 ZZ와 진짜 오차 기반 기준 모두를 뛰어넘었으며, 특히 원형 구조에서 두드러진 성능 향상을 보였다.
• $ B=10 $로 훈련된 IPN 정책는 $ B=100 $로 확장된 예산에도 불구하고 전파되는 프론트에 대해 정량적으로 타당한 리파인먼트 결정을 내렸으며, 예산이 다섯 배로 증가한 상황에서도 일반화 성능을 유지했다.
• 해의 길이 척도와 메시 길이 척도 비율을 유지한 $ 200\times200 $ 메시에서 IPN 정책는 원형 구조에서 진짜 오차 기반 오라클보다 더 뛰어난 성능을 보였으며, 이는 척도와 복잡성에 대한 강건성을 보여준다.
• 지상 진실 솔루션이 없는 상태에서 훈련된 RL 정책는 여전히 진짜 오차 오라클과 경쟁 가능한 성능을 달성했으며, 이는 실제 시나리오에서 제안된 보상 공식의 효과성을 검증한다.
• IPN과 Graphnet 아키텍처는 상호보완적인 강점을 보였다: IPN은 정적 또는 느리게 전파되는 특징(예: 버거스 방정식)에서 뛰어난 성능을 보였고, Graphnet는 부드럽고 움직이는 특징(예: 볼록형의 대류)에서 더 나은 성능을 보였다.