[論文レビュー] LM4HPC: Towards Effective Language Model Application in High-Performance Computing

Le Chen, Pei‐Hung Lin+4 more|arXiv (Cornell University)|Jun 26, 2023

Machine Learning and Data Classification参考文献 24被引用数 6

ひとこと要約

LM4HPC は、HPC 専用のデータセット、パイプライン、Hugging Face 互換 API を提供することで、大規模言語モデル（LLM）をハイパフォーマンスコンピューティング（HPC）分野に効率的かつスムーズに適用することを目的としたフレームワークです。コード類似度、並列化検出、質問応答などの HPC タスクにおいて、標準的で再現可能な LLM の評価を可能にし、GPT-3 と同等の性能を示す一方で、OpenMP 関連の質問や長い入力シーケンスの処理におけるギャップが明らかになりました。

ABSTRACT

In recent years, language models (LMs), such as GPT-4, have been widely used in multiple domains, including natural language processing, visualization, and so on. However, applying them for analyzing and optimizing high-performance computing (HPC) software is still challenging due to the lack of HPC-specific support. In this paper, we design the LM4HPC framework to facilitate the research and development of HPC software analyses and optimizations using LMs. Tailored for supporting HPC datasets, AI models, and pipelines, our framework is built on top of a range of components from different levels of the machine learning software stack, with Hugging Face-compatible APIs. Using three representative tasks, we evaluated the prototype of our framework. The results show that LM4HPC can help users quickly evaluate a set of state-of-the-art models and generate insightful leaderboards.

研究の動機と目的

• 主流の LLM フレームワークが HPC ソフトウェアの分析・最適化に対して HPC 専用のサポートを欠いている問題に対処すること。
• HPC 研究者や開発者が HPC タスク用に LLM をアクセス、評価、デプロイする際の障壁を低減すること。
• LLM が HPC 特有の課題に適用される際の、標準的で再現可能な評価ワークフローとメトリクスを確立すること。
• HPC データセット、モデル、パイプラインを統合できる拡張性があり、Hugging Face 互換の API を提供することで、エンドツーエンドのワークフローに統合すること。
• 代表的な HPC タスクにおけるリーダーボードを通じて、公平な LLM の比較とベンチマークを促進すること。

提案手法

• HPC 専用のデータセット、モデル、推論パイプラインを統合した、拡張性のあるフレームワークを設計し、一元化された API 駆動インターフェースを提供すること。
• 既存の機械学習ワークフローとツールとのシームレスな統合を可能にするために、Hugging Face 互換の API を実装すること。
• コード類似度分析、並列化検出、OpenMP や MPI に関する質問応答といった、HPC のコアタスクを対象とした専用パイプラインを開発すること。
• DRB-ML（コード類似度）、OMP4Par（並列化検出）、OMPQA（OpenMP 質問応答）という 3 つの新しい HPC 専用データセットを作成・公開すること。
• 標準化された評価メトリクスと再現可能なワークフローを統合し、異なる LLM 間での公平なベンチマークを可能にすること。
• 利用可能な場合、オープンソースモデル（例：CodeBERT、LLaMA）および特許モデル（例：GPT-4）の両方を API アクセスを通じてサポートすること。

Figure 1: Overview of the LM4HPC framework

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを、ハイパフォーマンスコンピューティングソフトウェアの分析や最適化タスクに、どのように効果的かつ効率的に適用できるか。
• RQ2 汎用的言語モデルを HPC 専用のプログラミングやパフォーマンス分析ワークロードに適応させる際の主な課題は何か。
• RQ3 LLM が HPC 分野に適用される際の、標準的で再現可能な評価フレームワークを確立するにはどうすればよいか。
• RQ4 ドメイン特化のデータセットが、コード理解や並列化検出といった HPC タスクにおける LLM のパフォーマンス向上に果たす役割は何か。
• RQ5 入力長の制限やモデルアーキテクチャの選択が、複雑な HPC コード分析タスクにおける LLM のパフォーマンスに与える影響は何か。

主な発見

• GPT-3 は HPC タスクにおいて、特に HPC 専用のファインチューニングが施されていなくても、競争力のある性能を示しており、強力なゼロショット一般化能力を示している。
• OpenMP 関連の質問に対する処理において顕著なパフォーマンスギャップが観察され、ドメイン特化のファインチューニングや専用データセットの必要性が浮き彫りになった。
• LLM の入力サイズ制限は、大規模なコードベースや複雑な並列化パターンを含むタスクにおいて大きな課題をもたらしており、モデルや入力のエンジニアリングによる解決策が求められる。
• LM4HPC フレームワークは、最先端のモデルの迅速な評価と、複数の HPC タスクにわたる洞察に満ちたリーダーボードの生成を成功裏に実現した。
• OMPQA や OMP4Par といった HPC 専用のデータセットの導入により、一般向けベンチマークと比較して、ターゲットタスクにおけるモデルのパフォーマンスが顕著に向上した。
• フレームワークが提供する Hugging Face 互換の API と標準化された評価パイプラインにより、HPC フレームワーク内での LLM ベンチマークが再現可能で、透明性があり、拡張性があるものとなった。