[논문 리뷰] ChipNeMo: Domain-Adapted LLMs for Chip Design

Mingjie Liu, Ene, Teodor-Dumitru외 40명|arXiv (Cornell University)|2023. 10. 31.

Digital Rights Management and Security인용 수 23

한 줄 요약

ChipNeMo는 도메인 적응형 프리트레이닝, 맞춤 토크나이저, 도메인 특화 감독 미세조정, 회수 기반 생성(RAG)을 결합하여 칩 설계에 대한 도메인 적응형 LLM을 보여주고, 엔지니어링 챗봇, EDA 스크립트 생성, 그리고 버그 요약 과제에서 일반 LLM보다 우수하게 작동하며, 유사 성능에 대해 최대 5x 파라미터 감소를 가능하게 한다.

ABSTRACT

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: domain-adaptive tokenization, domain-adaptive continued pretraining, model alignment with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our evaluations demonstrate that domain-adaptive pretraining of language models, can lead to superior performance in domain related downstream tasks compared to their base LLaMA2 counterparts, without degradations in generic capabilities. In particular, our largest model, ChipNeMo-70B, outperforms the highly capable GPT-4 on two of our use cases, namely engineering assistant chatbot and EDA scripts generation, while exhibiting competitive performance on bug summarization and analysis. These results underscore the potential of domain-specific customization for enhancing the effectiveness of large language models in specialized applications.

연구 동기 및 목표

• 산업용 칩 설계 과제에서 도메인 적응 LLM의 효과를 입증한다.
• 기술 시연: 도메인 적응 프리트레이닝, 도메인 특화 토크나이저, 감독 미세조정, 회수 기반 생성(RAG)을 포함한 기법을 선보인다.
• 세 가지 사용 사례: 엔지니어링 어시스턴트 챗봇, EDA 스크립트 생성, 버그 요약/분석 평가.
• 기반 LLaMA2 모델과 비교했을 때 도메인 적응이 모델 크기, 비용 및 성능에 미치는 영향을 평가한다.

제안 방법

• 도메인 특화 데이터를 사용하여 LLaMA2 7B/13B에 도메인 적응 프리트레이닝(DAPT)을 적용하여 ChipNeMo 기초 모델을 구성한다(내부 칩 설계 텍스트 및 공개 소스).
• 토크나이저를 도메인 특화 토큰으로 조정하여 토크나이제이션 효율을 향상시킨다(약 9K 개의 새로운 토큰 추가).
• 일반 채팅 데이터(128k 샘플)와 도메인 특화 지시 데이터(≈1.1k 샘플)를 결합한 감독 미세조정(SFT)을 적용한다.
• 도메인 적응 검색 모델을 재훈련하고 RAG를 통합하여 응답을 도메인 내 단락으로 근거를 둔다.
• 세 가지 응용에서 AutoEval 스타일 도메인 벤치마크, 인간 평가, 코드 생성 지표를 사용하여 평가한다.
• ChipNeMo를 일반 LLM(LLaMA2-13B-Chat*, LLaMA2-70B-Chat 등)과 비교하고 규모 확장, 토크나이제이션, 검색 효과를 분석한다.

Figure 1 : ChipNeMo Training Flow

실험 결과

연구 질문

• RQ1 도메인 적응 LLM이 칩 설계 과제에서 일반-purpose LLM과 비교하여 어떻게 성능을 보이나요?
• RQ2 도메인 적응 프리트레이닝, 도메인 특화 토크나이저, 도메인 정렬된 SFT가 과제 성능에 미치는 영향은 무엇인가요?
• RQ3 도메인 특화 응답의 정확도와 근거를 향상시키기 위해 회수 기반 생성(RAG)이 칩 설계 시나리오에서 효과가 있나요?
• RQ4 ChipNeMo 기법 적용 시 모델 크기, 학습 비용, 추론 효율성의 트레이드오프는 무엇인가요?
• RQ5 세 가지 평가 대상 애플리케이션(엔지니어링 어시스턴트 챗봇, EDA 스크립트 생성, 버그 요약/분석)이 도메인 적응에서 어떻게 동작하나요?

주요 결과

• 도메인 적응 ChipNeMo 모델은 세 가지 과제 모두에서 다수의 도메인 벤치마크와 인간 평가에서 일반 LLM보다 우수하다.
• 엔지니어링 어시스턴트 챗봇은 전문가 평가에서 7.4/10 점; EDA 스크립트 생성은 정답률 50%를 초과; 버그 요약/할당 과제는 전문가가 4–5/7로 평가했다.
• 도메인 적응은 최첨단 70B 모델과 13B 모델 간의 격차를 좁혀 맥락이 많은 과제에서 유사하거나 더 나은 성능으로 최대 5x 파라미터 감소를 가능하게 한다.
• 맞춤형 도메인 토크나이저가 응용에 대한 효과를 해치지 않으면서 DAPT 토큰 수를 최대 3.3%까지 감소시킨다.
• 도메인 적응 검색 모델이 사전 학습된 검색기 대비 검색 성공률을 30% 향상시켜 RAG 성능을 높인다.
• 도메인 데이터로의 검색 보강은 RAG 활성 모델에 대해 인간 평가 점수를 크게 향상시킨다.

Figure 2 : Smoothed Training Loss for ChipNeMo with Tokenizer Augmentation.