[논문 리뷰] Report of the DOE/NSF Workshop on Correctness in Scientific Computing, June 2023, Orlando, FL

Maya Gokhale, Ganesh Gopalakrishnan외 4명|arXiv (Cornell University)|2023. 12. 25.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

이 보고서는 과학적 계산의 정확성에 관한 DOE/NSF 워크숍(CSC'23)의 결과를 종합하여, 하드웨어 이질성, 수치 근사, 머신러닝 통합, 코드 수준 최적화 등으로 인한 고성능계산(HPC) 분야의 핵심 정확성 문제를 규명한다. 이 보고서는 형식적 방법, 검증된 컴파일러, 정적 분석, 종단 간 사례 연구를 활용한 다학제적 프레임워크를 제안하여 HPC 스택 전반에 걸쳐 정확성을 확보하며, AI에 의해 생성된 코드에 대한 가드레일과 재현 가능성 검증에 대한 핵심 권고안을 제시한다.

ABSTRACT

This report is a digest of the DOE/NSF Workshop on Correctness in Scientific Computing (CSC'23) held on June 17, 2023, as part of the Federated Computing Research Conference (FCRC) 2023. CSC was conceived by DOE and NSF to address the growing concerns about correctness among those who employ computational methods to perform large-scale scientific simulations. These concerns have escalated, given the complexity, scale, and heterogeneity of today's HPC software and hardware. If correctness is not proactively addressed, there is the risk of producing flawed science on top of unacceptable productivity losses faced by computational scientists and engineers. HPC systems are beginning to include data-driven methods, including machine learning and surrogate models, and their impact on overall HPC system correctness was also felt urgent to discuss. Stakeholders of correctness in this space were identified to belong to several sub-disciplines of computer science; from computer architecture researchers who design special-purpose hardware that offers high energy efficiencies; numerical algorithm designers who develop efficient computational schemes based on reduced precision as well as reduced data movement; all the way to researchers in programming language and formal methods who seek methodologies for correct compilation and verification. To include attendees with such a diverse set of backgrounds, CSC was held during the Federated Computing Research Conference (FCRC) 2023.

연구 동기 및 목표

• 하드웨어 이질성 증가와 머신러닝 통합으로 인한 HPC 시스템의 정확성 문제로 인한 잘못된 과학적 결과의 위험 증가를 대응한다.
• 수치 정밀도, 동시성, 압축, 대체 모델 등 HPC 스택 전반의 핵심 정확성 과제를 규명한다.
• 검증된 라이브러리, 형식적 검증, 도구화된 기술 등 실용적인 기술적·체계적 개선 조치를 제안하여 과학 소프트웨어의 정확성을 향상시킨다.
• 프로그래밍 언어와 분야를 초월해 종단 간 정확성과 표준화된 정확성 설계 실천 방식을 통해 종단 간 정확성을 증진한다.
• 컴퓨터 과학의 하위 분야 간 협력을 강화하여 과학 계산 분야에서 정확성 확보를 통합한다.

제안 방법

• 학계, 국립연구소, 산업계 소속의 55명의 전문가가 참석한 2023년 FCRC에서 열린 다일간 워크숍을 통해 핵심 정확성 과제를 규명한다.
• 정확성 과제를 8개의 핵심 영역으로 분류한다: 명세, 동시성, 추상화, 수치 문제, 압축, 대체 모델, 이질성, 상호운용성.
• 6개의 핵심 기법을 평가하고 권장한다: 추론 기반 검증, 모델 체킹, 정적 분석, 퍼즈 테스팅, 디버깅, 프로그램 합성.
• 검증된 컴파일러, 정확성 인식 빌드 시스템, 정확성 설계 중심 프로그래밍 언어와 같은 개선 기회를 제안한다.
• 특히 LLM 기반 AI에 의해 생성된 코드에 대한 안전장치를 통합하고, 컴파일러에서 자동 정확성 검사를 추진한다.
• 특히 저차원 모델을 사용할 경우 보존 법칙 검증과 앙상블 일致성 테스트를 활용하여 복잡한 시뮬레이션 출력을 검증하는 것이 중요하다.

실험 결과

연구 질문

• RQ1 형식적 방법과 검증된 컴파일러는 현대 HPC 워크로드의 정확성 요구를 충족하기 위해 어떻게 스케일링될 수 있는가?
• RQ2 하드웨어 이질성과 과도한 최적화 기법이 초래하는 가장 중요한 정확성 과제는 무엇인가?
• RQ3 수치 정밀도와 데이터 압축은 과학적 타당성을 훼손하지 않도록 어떻게 관리할 수 있는가?
• RQ4 대체 모델과 머신러닝 구성요소는 시뮬레이션 정확성에 어떤 영향을 미치며, 어떻게 검증할 수 있는가?
• RQ5 사례 연구를 통해 알고리즘부터 하드웨어에 이르기까지 스택 전반에 걸쳐 종단 간 정확성을 어떻게 입증할 수 있는가?

주요 결과

• 하드웨어 이질성과 부분적으로 문서화된 라이브러리가 정확성 리스크를 크게 증가시키며, 특히 과도한 최적화와 병행될 경우 더욱 심각하다.
• 정밀도 선택과 같은 코드 수준의 근사 기법은 공식적으로 정당화되어야 하며, 정확성 논증에 통합되어야 한다.
• 컴파일러는 자동으로 정확성 검사를 삽입해야 하며, 특히 데이터 이동 감소 최적화 시에 더욱 중요하다.
• AI에 의해 생성된 코드는 안전장치와 공식적 검증이 필요하여 미묘한 버그와 이식성 문제를 방지해야 한다.
• 보존 법칙 검증과 앙상블 일치성 테스트는 복잡한 시뮬레이션을 검증하는 데 효과적인 전략이다.
• 종단 간 정확성 사례 연구는 HPC 스택 전반에 걸쳐 정확성을 통합하고 입증하는 데 필수적이다.