[論文レビュー] Report of the DOE/NSF Workshop on Correctness in Scientific Computing, June 2023, Orlando, FL

Maya Gokhale, Ganesh Gopalakrishnan+4 more|arXiv (Cornell University)|Dec 25, 2023

Cloud Computing and Resource Management被引用数 4

ひとこと要約

本レポートは、2023年 DOE/NSF 科学計算における正しさに関するワークショップ（CSC'23）の成果を統合し、ハードウェアの異種性、数値近似、機械学習の統合、コードレベルの最適化に起因するHPCにおける正しさの課題を特定する。形式的手法、検証済みコンパイラ、静的解析、エンドツーエンドの事例研究を活用する多分野的フレームワークを提唱し、AI生成コードのガードレールと再現性チェックの推奨事項を含む。

ABSTRACT

This report is a digest of the DOE/NSF Workshop on Correctness in Scientific Computing (CSC'23) held on June 17, 2023, as part of the Federated Computing Research Conference (FCRC) 2023. CSC was conceived by DOE and NSF to address the growing concerns about correctness among those who employ computational methods to perform large-scale scientific simulations. These concerns have escalated, given the complexity, scale, and heterogeneity of today's HPC software and hardware. If correctness is not proactively addressed, there is the risk of producing flawed science on top of unacceptable productivity losses faced by computational scientists and engineers. HPC systems are beginning to include data-driven methods, including machine learning and surrogate models, and their impact on overall HPC system correctness was also felt urgent to discuss. Stakeholders of correctness in this space were identified to belong to several sub-disciplines of computer science; from computer architecture researchers who design special-purpose hardware that offers high energy efficiencies; numerical algorithm designers who develop efficient computational schemes based on reduced precision as well as reduced data movement; all the way to researchers in programming language and formal methods who seek methodologies for correct compilation and verification. To include attendees with such a diverse set of backgrounds, CSC was held during the Federated Computing Research Conference (FCRC) 2023.

研究の動機と目的

• HPCシステムにおける正しさの問題が増加する中で、特にハードウェアの異種性と機械学習の統合が進む中で、誤った科学的結果のリスクを低減すること。
• 数値精度、並行処理、圧縮、代理モデルを含む、HPCスタック全体における重要な正しさの課題を特定すること。
• 検証済みライブラリ、形式的検証、ツールキットといった、実行可能な技術的・制度的対策を提言し、科学的ソフトウェアにおける正しさを向上させること。
• プログラミング言語や分野を越えて、正しさを設計段階から統合するためのエンドツーエンドの正しさを促進すること。
• コンピュータサイエンスの分野横断的連携を強化し、科学的計算における正しさの取り組みを統一すること。

提案手法

• FCRC 2023で開催された多日にわたるワークショップに、学術界、国立研究所、産業界の55名の専門家が参加し、主要な正しさの課題を特定した。
• 正しさの課題を8つの主要分野に分類した：仕様、並行処理、抽象化、数値的問題、圧縮、代理モデル、異種性、相互運用性。
• 6つのコア技術を評価・推奨した：帰納的検証、モデル検査、静的解析、ファズテスト、デバッグ、プログラム合成。
• 検証済みコンパイラ、正しさに配慮したビルドシステム、正しさを設計段階から組み込むプログラミング言語といった干渉の機会を提言した。
• 特に大規模言語モデル（LLM）を対象としたAI生成コードに安全ガードレールを設け、コンパイラにおける自動正しさチェックを提唱した。
• 保存則のチェックやアンサンブル一貫性テストを活用し、特に低次元モデルを用いたシミュレーションの出力を検証する戦略を強調した。

実験結果

リサーチクエスチョン

• RQ1 形式的手法と検証済みコンパイルは、現代のHPCワークロードにおける正しさの要請を満たすために、どのようにスケーリング可能か？
• RQ2 ハードウェアの異種性と攻撃的な最適化技術によって生じる、最も深刻な正しさの課題は何か？
• RQ3 数値精度とデータ圧縮は、科学的妥当性を損なわずにどのように管理できるか？
• RQ4 代理モデルや機械学習部品がシミュレーションの正しさを損なう役割を果たす場合、どのように検証できるか？
• RQ5 エンドツーエンドの正しさは、アルゴリズムからハードウェアまでをカバーする事例研究を通じて、どのように実証できるか？

主な発見

• ハードウェアの異種性と部分的に文書化されていないライブラリは、特に攻撃的な最適化と組み合わさった場合、重大な正しさのリスクをもたらす。
• 精度選択のようなコードレベルの近似は、形式的に正当化され、正しさの議論に統合されるべきである。
• コンパイラは、データ移動の削減を最適化する際、自動的に正しさのチェックを挿入すべきである。
• AI生成コードにはセーフティガードレールと形式的検証が必要であり、微細なバグやポータビリティの問題を防ぐ。
• 保存則のチェックとアンサンブル一貫性テストは、複雑なシミュレーションの検証に効果的な戦略である。
• エンドツーエンドの正しさの事例研究は、HPCスタック全体にわたる正しさの統一と実証に不可欠である。