[论文解读] LM4HPC: Towards Effective Language Model Application in High-Performance Computing

Le Chen, Pei‐Hung Lin+4 more|arXiv (Cornell University)|Jun 26, 2023

Machine Learning and Data Classification参考文献 24被引用 6

一句话总结

LM4HPC 是一个旨在通过提供 HPC 专用数据集、流水线和 Hugging Face 兼容 API，简化大型语言模型（LLMs）在高性能计算（HPC）中应用的框架。它实现了对 HPC 任务（如代码相似性、并行性检测和问答）的标准化、可复现的 LLM 评估，展示了与 GPT-3 等模型相当的性能，并揭示了在处理 OpenMP 问题和长输入序列方面的差距。

ABSTRACT

In recent years, language models (LMs), such as GPT-4, have been widely used in multiple domains, including natural language processing, visualization, and so on. However, applying them for analyzing and optimizing high-performance computing (HPC) software is still challenging due to the lack of HPC-specific support. In this paper, we design the LM4HPC framework to facilitate the research and development of HPC software analyses and optimizations using LMs. Tailored for supporting HPC datasets, AI models, and pipelines, our framework is built on top of a range of components from different levels of the machine learning software stack, with Hugging Face-compatible APIs. Using three representative tasks, we evaluated the prototype of our framework. The results show that LM4HPC can help users quickly evaluate a set of state-of-the-art models and generate insightful leaderboards.

研究动机与目标

• 解决主流 LLM 框架在分析和优化 HPC 软件方面缺乏 HPC 专用支持的问题。
• 降低 HPC 研究人员和开发人员在访问、评估和部署 LLM 用于 HPC 任务方面的门槛。
• 为应用于 HPC 特定挑战的 LLM 建立标准化、可复现的评估工作流和指标。
• 提供可扩展的、与 Hugging Face 兼容的 API，将 HPC 数据集、模型和流水线集成到端到端工作流中。
• 通过为代表性 HPC 任务设立排行榜，促进 LLM 的公平比较和基准测试。

提出的方法

• 设计一个可扩展的框架，将 HPC 专用数据集、模型和推理流水线整合到统一的、基于 API 的接口中。
• 实现与 Hugging Face 兼容的 API，以实现与现有机器学习工作流和工具的无缝集成。
• 开发针对核心 HPC 任务的专用流水线，包括代码相似性分析、并行性检测以及针对 OpenMP 和 MPI 的问答。
• 创建并发布三个新的 HPC 专用数据集：DRB-ML（代码相似性）、OMP4Par（并行性检测）和 OMPQA（OpenMP 问答）。
• 集成标准化的评估指标和可复现的工作流，以实现在不同 LLM 之间的公平基准测试。
• 通过 API 访问支持开源模型（如 CodeBERT、LLaMA）和专有模型（如 GPT-4），当可用时。

Figure 1: Overview of the LM4HPC framework

实验结果

研究问题

• RQ1 如何有效且高效地将大型语言模型应用于高性能计算软件分析与优化任务？
• RQ2 将通用语言模型适配到 HPC 专用编程和性能分析工作负载时，面临哪些关键挑战？
• RQ3 如何为 HPC 中的 LLM 建立标准化、可复现的评估框架，以实现在不同模型间的公平比较？
• RQ4 领域特定数据集在提升 LLM 在 HPC 任务（如代码理解与并行性检测）上的性能方面发挥什么作用？
• RQ5 输入长度限制和模型架构选择如何影响 LLM 在复杂 HPC 代码分析任务上的表现？

主要发现

• 尽管未针对 HPC 进行特定微调，GPT-3 在 HPC 任务中仍表现出具有竞争力的性能，表明其具备强大的零样本泛化能力。
• 在回答与 OpenMP 相关的问题时观察到显著的性能差距，凸显了进行领域特定微调或使用专用数据集的必要性。
• LLM 中的输入大小限制对涉及大型代码库或复杂并行模式的任务构成重大挑战，需要通过模型或输入工程解决方案应对。
• LM4HPC 框架成功实现了对最先进模型的快速评估，并在多个 HPC 任务上生成了富有洞察力的排行榜。
• 与通用基准相比，包含 HPC 专用数据集（如 OMPQA 和 OMP4Par）显著提升了模型在目标任务上的性能。
• 该框架的 Hugging Face 兼容 API 和标准化评估流水线，使得 HPC 场景下的 LLM 基准测试具备可复现性、透明性和可扩展性。