[논문 리뷰] The Landscape and Challenges of HPC Research and LLMs

Le Chen, Nesreen K. Ahmed외 15명|arXiv (Cornell University)|2024. 02. 03.

Advanced Data Storage Technologies인용 수 6

한 줄 요약

이 논문은 대형 언어 모델(LLMs)을 고성능 컴퓨팅(HPC)에 적응시키는 방법을 조사하고, 도전과제와 경로, 코드 표현, 다중 모달 접근법 및 잠재적 사례 연구를 논의한다.

ABSTRACT

Recently, language models (LMs), especially large language models (LLMs), have revolutionized the field of deep learning. Both encoder-decoder models and prompt-based techniques have shown immense potential for natural language processing and code-based tasks. Over the past several years, many research labs and institutions have invested heavily in high-performance computing, approaching or breaching exascale performance levels. In this paper, we posit that adapting and utilizing such language model-based techniques for tasks in high-performance computing (HPC) would be very beneficial. This study presents our reasoning behind the aforementioned position and highlights how existing ideas can be improved and adapted for HPC tasks.

연구 동기 및 목표

• LLMs와 HPC 간의 잠재적 상호 이점을 강조하여 LLM을 HPC 작업에 적용할 동기를 부여한다.
• 데이터 표현, 도구 접근성, 평가 지표를 포함하여 HPC에 LLM을 도입하는 데 있어 도메인별 도전과제를 확인한다.
• 코드 표현, 다중모드 학습, 병렬 코드 생성을 포함하여 HPC 준비가 된 LLM에 대한 아키텍처 및 방법론 방향을 제안한다.
• 사례 연구를 통해 맞춤형 설계가 LLM과 HPC 간의 상호 이점을 가능하게 하는 방법을 설명한다.

제안 방법

• 프로그램 작성 및 HPC 맥락에서 LLM에 대한 기존 작업을 검토하여 격차를 식별한다.
• HPC용 코드 표현(소스 텍스트 및 LLVM IR 포함)과 그것이 LLM 작업에 미치는 영향을 논의한다.
• 코드 특징과 시스템 런타임 데이터를 결합한 다중모달 학습을 탐구하여 성능 최적화를 도모한다.
• LLMs와의 병렬 코드 생성을 분석하고 데이터 가용성 및 평가 지표와 같은 도전과제를 개략적으로 제시한다.
• HPC 중심의 자연어 프로그래밍에 대한 NL-에서 PL 및 PL-에서 NL 측면을 설명한다.
• 현대 HPC 특화 코드 LLM과 도메인 집중이 훈련 필요성을 줄일 수 있는 방법을 요약한다.

Figure 1: A visual abstract of our paper highlights critical areas of exchange between the fields of high-performance computing (HPC) and large language model (LLM) research (outer labels). We describe several downstream HPC applications to target (center, black outline boxes). Focusing on these are

실험 결과

연구 질문

• RQ1 LLMs를 HPC 작업에 적용할 수 있는 핵심 기회와 HPC 및 LLM 연구에 대한 상호 이익은 무엇인가?
• RQ2 데이터 표현, 도구, 평가 등 효과적으로 LLM을 활용하기 위해 해결해야 할 고유한 HPC 도전과제는 무엇인가?
• RQ3 LLVM IR과 같은 코드 표현 및 다중모달 융합이 HPC에서 LLM의 효과를 어떻게 향상시킬 수 있는가?
• RQ4 HPC에 특화된 코드 LLM의 현재 상태는 무엇이며 병렬 코드 생성 및 최적화 작업에서 남아 있는 격차는 무엇인가?

주요 결과

• LLMs는 병렬 코드 생성을 포함한 HPC 작업에 도움을 줄 잠재력이 있지만, 병렬 구성 전반에서의 강건성 및 정확성 같은 도전과제가 있다.
• LLVM IR과 같은 코드 표현은 HPC에 중요한 의미 특성들을 노출시킬 수 있으며 특정 작업에서 원시 소스 텍스트 표현보다 더 잘 작동하는 경우도 있다.
• 코드 특징과 성능 카운터 및 시스템 정보를 결합한 다중모달 접근은 HPC 최적화 작업을 향상시킬 수 있다.
• 최신 HPC 중심 LLM들(Code LLMs 및 HPC에 맞춘 모델들)은 가능성을 보여주지만, 병렬 코드에 대한 데이터 가용성과 평가 지표의 한계로 인해 아직은 제한적이다.
• NL-에서 PL 및 PL-에서 NL 패러다임은 HPC에 대해 양방향으로 HPC 특화 지식을 강조하여 사용성 및 이해도를 향상시키기 위해 제안된다.
• LLM 학습 및 데이터 전처리를 위해 HPC 자원을 통합하는 미래 파이프라인은 효율성과 확장성을 높일 수 있다.