[논문 리뷰] CktEvo: Repository-Level RTL Code Benchmark for Design Evolution

Zhengyuan Shi, Jingxin Wang외 4명|arXiv (Cornell University)|2026. 02. 10.

Embedded Systems Design Techniques인용 수 0

한 줄 요약

CktEvo는 저장소 수준의 RTL 벤치마크와 폐루프 LLM 기반 프레임워크를 도입하여 다중 파일 Verilog 저장소를 진화시키며 기능을 보존하고 PPA(면적, 지연, 전력 프록시)를 개선합니다. 이 접근 방식은 오픈 소스 도구 체인을 사용해 사람의 입력 없이 ADP를 측정 가능한 감소를 달성하고 설계마다 서로 다른 이득을 보입니다.

ABSTRACT

Register-Transfer Level (RTL) coding is an iterative, repository-scale process in which Power, Performance, and Area (PPA) emerge from interactions across many files and the downstream toolchain. While large language models (LLMs) have recently been applied to hardware design, most efforts focus on generation or debugging from natural-language prompts, where ambiguity and hallucinations necessitate expert review. A separate line of work begins from formal inputs, yet typically optimizes high-level synthesis or isolated modules and remains decoupled from cross-file dependencies. In this work, we present CktEvo, a benchmark and reference framework for repo-level RTL evolution. Unlike prior benchmarks consisting of isolated snippets, our benchmark targets complete IP cores where PPA emerges from cross-file dependencies. Our benchmark packages several high-quality Verilog repositories from real-world designs. We formalize the task as: given an initial repository, produce edits that preserve functional behavior while improving PPA. We also provide a closed-loop framework that couples LLM-proposed edits with toolchain feedback to enable cross-file modifications and iterative repair at repository scale. Our experiments demonstrate that the reference framework realizes PPA improvements without any human interactions. CktEvo establishes a rigorous and executable foundation for studying LLM-assisted RTL optimization that matters for engineering practice: repository-level, function-preserving, and PPA-driven.

연구 동기 및 목표

• 저장소 수준의 RTL 진화를 저장소의 설계 전반에서 함수 보존형, PPA 주도형 다중 파일 최적화로 형식적으로 정의한다.
• 다양한 도메인에 걸친 고품질의 다중 파일 Verilog 벤치마크(CktEvo)를 제공한다.
• LLM이 생성한 수정과 툴체인 피드백 및 형식 검증을 결합하는 폐루프 프레임워크를 제안한다.
• LLM 기반의 진화가 인간의 개입 없이 면적과 지연을 줄일 수 있음을 보여준다.

제안 방법

• LS 및 STA 도구를 통해 동등성 및 PPA를 측정하는 검증 함수 ∮와 평가 함수 ⊙를 갖춘 형식적 작업 공식화.
• 다양한 응용 도메인을 가진 11개의 다중 파일 Verilog 설계로 구성된 저장소 수준 RTL 벤치마크의 구성.
• 그래프 기반 코드 분석기가 RTL을 구조화된 Control Data Flow Graph (CDFG)로 변환하고 도구 보고서에서 병목 현상을 주석으로 표시한다.
• 주석 처리된 데이터 및 코드 스니펫으로부터 LLM이 대상 수정안을 제시하도록 맥락이 풍부한 프롬프트를 생성한다.
• 프롬프트 주도 자손 생성을 통한 LLM 주도 변이, 이어서 빠른 수정 및 형식 검증으로 동등성을 보장한다.
• 품질과 다양성의 균형을 맞추기 위해 island 모델 MAP-Elites 스타일 아카이브를 사용하는 Evolution 알고리즘 (Dual-Cycle LLM-Guided RTL Evolution).

Figure 1 . Overview of close-loop evolution framework.

실험 결과

연구 질문

• RQ1 저장소 수준의 RTL 진화가 인적 개입 없이 기능적 동작을 보존하면서 PPA를 개선할 수 있는가?
• RQ2 도구 체인 피드백을 활용한 폐루프 LLM 주도 프레임워크가 파일 간 교차 최적화 및 저장소 규모의 RTL 최적화를 효과적으로 가능하게 하는가?
• RQ3 다양한 RTL 저장소에 걸친 PPA 개선에 영향을 주는 실질적 이점과 설계 특성은 무엇인가?
• RQ4 제안된 벤치마크와 프레임워크가 오픈 소스 도구 체인과 상용 도구 체인에서 어떻게 성능을 발휘하는가?

주요 결과

• 오픈 소스 도구로 모든 벤치마크 설계에서 PPA 지표를 감소시키며 평균 ADP 감소율 10.50%를 달성, DeepSeek-v3를 사용.
• 지연 감소가 면적 감소보다 우수하며 오픈 소스 도구 실험에서 기하 평균 지연 감소 7.92% 및 면적 감소 2.80%.
• 그래프 기반 코드 분석기가 돕는 제어 집중형 설계(hsm, mem_ctrl, sdc_ctrl, simple_cpu, risc 등)에서 상당한 타이밍 개선이 발생.
• 상용 도구 체인에서는 전체 개선이 더 작지만(기하 평균 ADP 감소 1.77%) 여전히 실질적인 RTL 진화 이득을 보여주며, 예를 들어 오디오에서 지연 10.61% 감소, hsm에서 면적 536.77 μm^2 감소.
• LLMs는 전체 아키텍처 재설계보다는 코딩 스타일, 로직 플래튼, 상태 기계 인코딩 등 로컬이고 합성 친화적인 최적화를 적용하는 경향이 있어 대규모 글로벌 리팩토링의 현재 한계를 강조한다.
• 이 프레임워크는 폐루프의 파일 간 교차 설정에서 작동하며 저장소 수준의 함수 보존 RTL 최적화가 인간의 개입 없이 가능하다는 것을 입증한다.