[논문 리뷰] LM4HPC: Towards Effective Language Model Application in High-Performance Computing

Le Chen, Pei‐Hung Lin외 4명|arXiv (Cornell University)|2023. 06. 26.

Machine Learning and Data Classification참고 문헌 24인용 수 6

한 줄 요약

LM4HPC는 고성능 컴퓨팅(HPC) 분야에서 대규모 언어 모델(LLM)을 적용하는 데 있어 표준화된 접근을 가능하게 하기 위해 HPC 전용 데이터셋, 파이프라인, Hugging Face 호환 API를 제공하는 프레임워크이다. 이는 코드 유사도, 병렬성 탐지, 질문 응답과 같은 HPC 작업에서 LLM의 표준화되고 재현 가능한 평가를 가능하게 하며, GPT-3와 같은 모델과 경쟁 가능한 성능을 보이며 OpenMP 질문 처리 및 긴 입력 시퀀스 처리에서의 격차를 드러낸다.

ABSTRACT

In recent years, language models (LMs), such as GPT-4, have been widely used in multiple domains, including natural language processing, visualization, and so on. However, applying them for analyzing and optimizing high-performance computing (HPC) software is still challenging due to the lack of HPC-specific support. In this paper, we design the LM4HPC framework to facilitate the research and development of HPC software analyses and optimizations using LMs. Tailored for supporting HPC datasets, AI models, and pipelines, our framework is built on top of a range of components from different levels of the machine learning software stack, with Hugging Face-compatible APIs. Using three representative tasks, we evaluated the prototype of our framework. The results show that LM4HPC can help users quickly evaluate a set of state-of-the-art models and generate insightful leaderboards.

연구 동기 및 목표

• 주류 LLM 프레임워크가 HPC 소프트웨어 분석 및 최적화를 위해 특화된 지원이 부족한 문제를 해결하기 위해.
• HPC 연구자 및 개발자가 HPC 작업을 위해 LLM을 접근, 평가, 구현하는 데 있어 장벽을 낮추기 위해.
• LLM을 HPC 특화 과제에 적용할 때 표준화되고 재현 가능한 평가 워크플로우와 메트릭을 수립하기 위해.
• HPC 데이터셋, 모델, 파이프라인을 종합적으로 통합할 수 있는 확장 가능하고 Hugging Face 호환 API를 제공하기 위해.
• 대표적인 HPC 작업을 위한 랭킹 보드를 통해 공정한 비교 및 벤치마킹을 촉진하기 위해.

제안 방법

• HPC 전용 데이터셋, 모델, 추론 파이프라인을 통합한 유일한 API 기반 인터페이스로 확장 가능한 프레임워크 설계.
• 기존 머신러닝 워크플로우 및 도구와의 원활한 통합을 위해 Hugging Face 호환 API 구현.
• 코드 유사도 분석, 병렬성 탐지, OpenMP 및 MPI 기반 질문 응답과 같은 핵심 HPC 작업을 위한 전용 파이프라인 개발.
• 세 가지 새로운 HPC 전용 데이터셋 제작 및 배포: DRB-ML(코드 유사도), OMP4Par(병렬성 탐지), OMPQA(OpenMP 질문 응답).
• 표준화된 평가 메트릭과 재현 가능한 워크플로우 통합을 통해 다양한 LLM 간 공정한 벤치마킹 가능.
• 사용 가능한 경우 API 접근을 통해 오픈소스 모델(예: CodeBERT, LLaMA)과 전문 모델(예: GPT-4) 모두 지원.

Figure 1: Overview of the LM4HPC framework

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 고성능 컴퓨팅 소프트웨어 분석 및 최적화 작업에 효과적이고 효율적으로 적용하는 방법은 무엇인가?
• RQ2 일반 목적 언어 모델을 HPC 특화 프로그래밍 및 성능 분석 워크로드에 적응시키는 데 있어 핵심 과제는 무엇인가?
• RQ3 LLM이 HPC에서 표준화되고 재현 가능한 평가 프레임워크를 수립하기 위해 어떻게 확보할 수 있는가?
• RQ4 도메인 특화 데이터셋이 코드 이해 및 병렬성 탐지와 같은 HPC 작업에서 LLM 성능 향상에 어떤 역할을 하는가?
• RQ5 입력 길이 제한과 모델 아키텍처 선택이 복잡한 HPC 코드 분석 작업에서 LLM 성능에 미치는 영향은 무엇인가?

주요 결과

• GPT-3는 HPC에 특화된 미세조정 없이도 경쟁 가능한 성능를 보이며, 강력한 제로샷 일반화 능력을 입증하였다.
• OpenMP 관련 질문에 대한 처리에서 뚜렷한 성능 격차가 관찰되어 도메인 특화 미세조정 또는 전용 데이터셋이 필요함을 시사하였다.
• LLM의 입력 크기 제한은 대규모 코드베이스나 복잡한 병렬성 패턴을 포함한 작업에서 주요 과제를 이룬다. 이는 모델 또는 입력 엔지니어링 솔루션이 필요함을 의미한다.
• LM4HPC 프레임워크는 최신 모델의 빠른 평가 및 여러 HPC 작업에서 유의미한 랭킹 보드 생성을 성공적으로 가능하게 하였다.
• OMPQA 및 OMP4Par와 같은 HPC 전용 데이터셋의 포함은 일반 목적 벤치마크에 비해 대상 작업에서 모델 성능 향상에 기여하였다.
• 프레임워크의 Hugging Face 호환 API와 표준화된 평가 파이프라인은 HPC 환경에서 재현 가능하고 투명하며 확장 가능한 LLM 벤치마킹을 가능하게 하였다.