[논문 리뷰] Reproducible and replicable CFD: it's harder than you think

Olivier Mesnard, Lorena A. Barba|arXiv (Cornell University)|2016. 05. 13.

Lattice Boltzmann Simulation Studies참고 문헌 2인용 수 5

한 줄 요약

이 논문은 오픈소스 코드와 철저한 관행을 갖추고 있어도, 복제 가능성과 재현 가능성이 있는 유체역학 계산(CFD)을 달성하는 것이 예상보다 훨씬 어렵다는 것을 입증한다. 세 가지 다른 CFD 코드인 OpenFOAM, IBAMR, PetIBM를 사용해 3년간의 복제 연구를 수행한 결과, 메쉬 생성, 경계 조건, 선형 해법기, 병렬 계산 등에서 중요한 변동성의 원인이 밝혀졌으며, 파arameter가 동일한 경우에도 실제 적용 방식의 차이로 인해 동일한 물리적 설정에서도 결과가 다를 수 있음을 보여주었다.

ABSTRACT

Completing a full replication study of our previously published findings on bluff-body aerodynamics was harder than we thought. Despite the fact that we have good reproducible-research practices, sharing our code and data openly. Here's what we learned from three years, four CFD codes and hundreds of runs.

연구 동기 및 목표

• 다양한 오픈소스 해법기를 사용해 이전에 발표된 뱀의 기체역학에 대한 CFD 결과를 엄격하게 복제하기 위해.
• 오픈 과학 관행을 시행하고 있음에도 불구하고 CFD에서 재현 가능성이 왜 여전히 달성되지 않는지 조사하기 위해.
• 코드와 데이터 공유를 넘어서는 숨겨진 CFD 시뮬레이션의 변동성 원인을 규명하고 문서화하기 위해.
• 재현 가능한 워크플로우와 부정적 결과의 투명한 보고를 포함한 더 엄격한 표준을 계산 과학 분야에 권장하기 위해.

제안 방법

• 동일한 입력 매개변수를 사용해 이전의 2차원 이머저드 바운더리 방법 시뮬레이션을 OpenFOAM, IBAMR, PetIBM 세 가지 다른 CFD 코드로 복제하였다.
• 구조적 직각좌표계 메쉬(원본 cuIBM), 비구조적 삼각형 메쉬(GMSH), 적응형 직각좌표계 메쉬(SnappyHexMesh)를 사용해 메쉬 민감도를 평가하였다.
• 모든 코드에서 동일한 기하 모델, 경계 조건, 유동 매개변수(레이놀즈 수, 공격각)를 사용하였다.
• Docker 컨테이너, Jupyter 노트북, 스크립트 기반 후처리를 활용해 워크플로우 전반의 자동화를 구현하여 전체 파ip라인의 재현 가능성을 확보하였다.
• 메쉬 해상도, 시간 간격, 반복 해법기 정밀도의 수렴 연구를 수행해 해의 독립성 여부를 평가하였다.
• 리프팅 계수, 소용돌이도 분포, 후류 구조를 중심으로 결과를 코드 간 비교하여 격차를 탐지하였다.

실험 결과

연구 질문

• RQ1 동일한 입력 매개변수를 사용해 다른 오픈소스 해법기를 사용할 때, 이전에 발표된 CFD 결과의 재현 범위는 어느 정도인가?
• RQ2 메쉬 생성 방식의 차이, 특히 구조적 메쉬와 비구조적 메쉬 간의 차이가 CFD 시뮬레이션의 물리적 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 선형 해법기와 그 수렴 기준이 동일한 정밀도 설정을 하더라도 결과의 변동성에 어떤 역할을 하는가?
• RQ4 병렬 처리 및 분산 메모리 실행 방식이 비정상적이고 혼돈스러운 유체 흐름의 재현 가능성에 어떤 영향을 미치는가?
• RQ5 메쉬 생성기 선택이나 해법기 라이브러리 등의 미세한 구현 차이가 왜 물리적으로 의미 없는 아티팩트, 예를 들어 유령 소용돌이를 유발하는가?

주요 결과

• GMSH로 생성한 비구조적 메쉬를 사용한 OpenFOAM 시뮬레이션에서 유령 소용돌이가 나타났으며, 표준 메쉬 품질 검사를 통과한 상태였음에도 불구하고, 이는 메쉬의 위상 구조와 요소 품질이 시뮬레이션 안정성에 중대한 영향을 미친다는 것을 시사한다.
• SnappyHexMesh로 전환함으로써 유령 소용돌이가 사라졌으며, 이는 메쉬 생성 도구와 그 출력 품질이 시뮬레이션 신뢰성에 결정적인 영향을 미친다는 것을 입증한다.
• PETSc와 OpenFOAM의 내부 해법기 등 서로 다른 선형 대수 라이브러리가 동일한 정밀도 설정을 하더라도 다른 수렴 행동을 보였으며, 잔차 정의와 정지 기준의 차이로 인한 것이다.
• 병렬 실행 과정에서 반복적으로 누적된 반올림 오차가 해의 분포에 작은 그러나 측정 가능한 차이를 유도하였으며, 특히 장시간 비정상적 유동 시뮬레이션에서 두드러졌다.
• 각 코드 간 경계 조건과 해법기 매개변수의 광범위한 튜닝이 필요로 하여, '동일한' 설정이 서로 다른 소프트웨어 스택에서는 동치가 아님을 드러냈다.
• 본 연구는 CFD에서의 재현 가능성이 코드와 데이터 공유를 넘어서, 환경 및 종속성 관리까지 포함된 완전하고 자동화되며, 버전 관리된 워크플로우가 필요하다고 결론 내렸다.