[논문 리뷰] ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution

Liu Yang, Zeyu Nie외 5명|arXiv (Cornell University)|2026. 03. 03.

Parallel Computing and Optimization Techniques인용 수 0

한 줄 요약

ParEVO는 특화된 LLM을 훈련시키고 Evolutionary Coding Agent를 사용하여 불규칙한 데이터에 대한 고성능 병렬 코드를 합성하고 최적화하며 대규모 속도향상과 인간 벤치마크에 거의 근접한 성능을 달성합니다.

ABSTRACT

The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling. We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers. On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.

연구 동기 및 목표

• 불규칙한 데이터 워크로드(그래프, 희소 구조) 병렬화의 도전과 정적 스케줄링이 실패하고 LLM의 순차 편향이 방해가 되는 문제를 동기부여하고 해결합니다.
• ParlayLib 프리미티브를 사용한 데이터 중심 합성 파이프라인을 제시하여 올바르게 구성된 병렬 코드를 생성합니다.
• 컴파일러, 경쟁 상태 탐지기, 프로파일러를 피드백으로 활용하여 코드를 점진적으로 개선하는 Evolutionary Coding Agent(ECA)를 도입합니다.
• 병렬 프리미티브의 올바른 의미론에 맞추도록 ParlayLib/Rust 프리미티브 grounding에 대해 다수의 LLM을 미세조정합니다.
• 상용 모델 및 전문가 인간 벤치마크에 비해 C++와 Rust 벤치마크에서 강력한 실증적 이점을 시연합니다.

제안 방법

• Teacher-Student-Critic 루프를 통한 엄격한 컴파일 및 테스트 검증으로 Parlay-Instruct 코퍼스를 생성합니다.
• LoRA와 다단계 정렬 파이프라인을 사용하여 ParlayLib 및 Rust 프리미티브에 대해 DeepSeek, Qwen, Gemini 모델을 미세조정합니다.
• 생성 코드를 AST에 대한 진화적 탐색으로 정형화하고, 후보군의 집단과 적합도(컴파일, 테스트, 경쟁 상태 탐지, 성능)에 기반하여 평가합니다.
• 코드 길이, 사이클로매틱 복잡도, 동기화 빈도에 걸쳐 다양성을 유지하기 위해 MAP-Elites 선택을 사용합니다.
• 정확성 평가를 위해 LLM에 의존하기보다는 외부 결정론적 도구(컴파일러, 동적 경쟁 탐지기)를 실제 판단자로 사용합니다.
• Build@1, Pass@1, Speedup@1를 측정하기 위해 ParEval, PBBS/RPB 벤치마스, DMOJ held-out 문제를 사용하여 평가합니다.

실험 결과

연구 질문

• RQ1 ParlayLib 프리미티브에 대해 LLM을 미세조정하면 불규칙한 데이터에 대한 병렬 코드가 컴파일 가능하고 의미적으로 올바르게 생성될 수 있는가?
• RQ2 런타임 피드백을 활용하는 Evolutionary Coding Agent가 단발 생성보다 정답성과 성능을 개선하는가?
• RQ3 더 강한 의미론적 grounding과 피크 런타임 속도향상 사이의 성능 트레이드오프(정렬 비용)는 어떻게 되는가?
• RQ4 ParEVO가 Rust와 C++의 불규칙 병렬 워크로드에 대해 학습 데이터 밖으로 일반화하는가?
• RQ5 복잡한 불규칙 커널에서 ParEVO가 전문가가 작성한 PBBS/RPB 벤치마크와 비교하여 어떤 차이를 보이는가?

주요 결과

모델/방법	언어	런타임 (초)	속도향상 (1T)	속도향상 (Base)
Baseline code (PBBS)	C++	1.24	–	–
PAREVO (GEMINI)	Rust	0.07728	0.938x	4.125x
PAREVO (GEMINI)	Rust	0.1928	21.43286835x	1.0708x
PAREVO (GEMINI)	C++	1.169	23.689x	1.061x
PAREVO (GEMINI)	C++	0.019	>13.94x	2.68421x
PAREVO (GEMINI)	Rust	0.08865	15.482x	1.305x
PAREVO (GEMINI)	C++	6.627	>1.814x	2.68421x
DeepSeek-Parlay	Parlay	0.33	–	–
Gemini-2.5-Parlay	Parlay	0.33	106.87x	0.84x
Qwen3-Parlay	Parlay	0.33	8.63x	0.50x
DeepSeek-6.7B-Base	Parlay	0.11	3.65x	0.89x

• Gemini-2.5-Parlay는 ParEval 작업에서 평균 106x의 속도향상을 달성하며 최대 1103x에 도달합니다.
• 미세조정된 모델은 기본 모델에 비해 Build@1 비율이 거의 완벽에 근접하고 Pass@1 및 Speedup@1이 크게 향상됩니다.
• ParEVO의 의미론적 정렬로 모델이 ParlayLib 프리미티브를 올바르게 사용하게 되고(예: 복합 타입에 대한 일반 매개변수가 있는 sort_inplace), 런타임 속도향상이 개선됩니다(복잡한 정렬 작업에서 예: 17.5x).
• ECA는 30회 반복의 연구에서 단발 생성 대비 성능을 2.2배 향상시킵니다.
• ParEVO는 여러 문제에서 전문가 PBBS/RPB 벤치마크를 상회하거나 근접하며 Rust 커널에서 최대 약 4.1x의 속도향상을 보입니다.
• 강한 확장성 결과는 여러 불규칙 커널에서 64코어까지 거의 선형 속도향상을 보여줍니다(예: FFT DFT 스케일링은 약 40x 도달).