[论文解读] HDLdebugger: Streamlining HDL debugging with Large Language Models

Xufeng Yao, Haoyang Li+6 more|arXiv (Cornell University)|Mar 18, 2024

Machine Learning and Algorithms被引用 4

一句话总结

HDLdebugger 是一种基于大语言模型的新型框架，通过逆向工程生成合成数据、基于检索增强的搜索引擎实现代码与文档检索，以及结合自引导推理与检索增强学习的微调方法，显著提升了HDL调试效率。该框架在工业级HDL调试任务中实现了81.93%的最先进通过率，显著优于13种SOTA大语言模型基线。

ABSTRACT

In the domain of chip design, Hardware Description Languages (HDLs) play a pivotal role. However, due to the complex syntax of HDLs and the limited availability of online resources, debugging HDL codes remains a difficult and time-intensive task, even for seasoned engineers. Consequently, there is a pressing need to develop automated HDL code debugging models, which can alleviate the burden on hardware engineers. Despite the strong capabilities of Large Language Models (LLMs) in generating, completing, and debugging software code, their utilization in the specialized field of HDL debugging has been limited and, to date, has not yielded satisfactory results. In this paper, we propose an LLM-assisted HDL debugging framework, namely HDLdebugger, which consists of HDL debugging data generation via a reverse engineering approach, a search engine for retrieval-augmented generation, and a retrieval-augmented LLM fine-tuning approach. Through the integration of these components, HDLdebugger can automate and streamline HDL debugging for chip design. Our comprehensive experiments, conducted on an HDL code dataset sourced from Huawei, reveal that HDLdebugger outperforms 13 cutting-edge LLM baselines, displaying exceptional effectiveness in HDL code debugging.

研究动机与目标

• 为解决硬件代码中因数据稀疏且专有而导致的大语言模型泛化能力差及HDL调试资源匮乏的关键挑战。
• 克服基于模板与启发式方法在面对多样化、未见过的HDL错误时缺乏适应性的局限。
• 开发一种可扩展、自动化的HDL调试流水线，即使在硬件领域数据稀缺的情况下也能有效利用大语言模型。
• 通过在微调过程中整合检索增强生成与自引导推理，提升大语言模型在HDL调试中的表现。

提出的方法

• 通过逆向工程生成HDL调试数据：将无错误的HDL代码进行修改以生成合成的错误版本，并通过编译提取错误信息，形成带标签的数据集。
• 实现双路检索机制：文档RAG用于检索相关内部HDL文档，代码RAG用于从合成代码数据库中检索相似的错误代码模式。
• 采用检索增强的大语言模型微调方法，将检索到的上下文（文档与代码）与自引导思维生成相结合，以提升推理与修复的准确性。
• 该框架使用搜索引擎对内部HDL文档与合成错误代码进行索引，以在推理阶段实现高效、上下文感知的检索。
• 微调采用混合损失函数，结合标准语言建模损失与检索感知对比损失，使模型输出与检索到的上下文对齐。
• 系统在华为提供的真实世界HDL数据集上进行评估，实现了对工业级调试场景的真实基准测试。

实验结果

研究问题

• RQ1 通过逆向工程生成的合成数据是否能有效缓解标注HDL调试样本稀缺的问题？
• RQ2 与标准提示或微调相比，检索增强生成在多大程度上提升了大语言模型在HDL调试中的性能？
• RQ3 在微调过程中，将自引导推理与检索增强微调相结合，是否能增强模型对复杂、非模式特定HDL错误的调试能力？
• RQ4 在真实的工业HDL调试任务中，检索增强的大语言模型框架是否能超越现有的SOTA大语言模型及专用硬件模型（如VeriGen与RTLFixer）？

主要发现

• HDLdebugger 在工业级HDL调试任务中实现了81.93%的通过率，显著优于13种SOTA大语言模型基线，包括GPT-4、RTLFixer与VeriGen。
• 结合自引导推理的检索增强微调策略有效降低了幻觉现象，并提升了复杂、非模板化错误修复中的逻辑一致性。
• 通过逆向工程生成的合成数据能有效生成多样化、真实的HDL错误，并附带准确的错误信息，即使在真实数据有限的情况下，也能实现高质量的模型微调。
• 双路检索机制（文档RAG与代码RAG）显著提升了上下文相关性，使通过率相较无检索基线提升了2.5倍。
• HDLdebugger 展现出对未见过的HDL模式的强大泛化能力，表明其在预定义模板或启发式规则之外仍具鲁棒性。
• 该框架显著减少了工业环境中的调试时间与工作量，表明其在EDA与芯片设计工具链中具有强大的集成潜力。