[論文レビュー] ChipNeMo: Domain-Adapted LLMs for Chip Design

Mingjie Liu, Ene, Teodor-Dumitru+40 more|arXiv (Cornell University)|Oct 31, 2023

Digital Rights Management and Security被引用数 23

ひとこと要約

ChipNeMo は、ドメイン適応型事前学習、カスタムトークナイザー、ドメイン特化の教師付きファインチューニング、および検索強化生成を組み合わせることで、チップ設計のためのドメイン適応型 LLM を実証し、工学用チャットボット、EDA スクリプト生成、およびバグ要約タスクでベースの LLM を上回り、同等の性能で最大 5 倍のパラメータ削減を実現します。

ABSTRACT

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: domain-adaptive tokenization, domain-adaptive continued pretraining, model alignment with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our evaluations demonstrate that domain-adaptive pretraining of language models, can lead to superior performance in domain related downstream tasks compared to their base LLaMA2 counterparts, without degradations in generic capabilities. In particular, our largest model, ChipNeMo-70B, outperforms the highly capable GPT-4 on two of our use cases, namely engineering assistant chatbot and EDA scripts generation, while exhibiting competitive performance on bug summarization and analysis. These results underscore the potential of domain-specific customization for enhancing the effectiveness of large language models in specialized applications.

研究の動機と目的

• 産業用チップ設計タスクに対するドメイン適応型 LLM の有効性を示す。
• 技術の紹介: ドメイン適応型事前学習、ドメイン特化トークナイザー、教師付きファインチューニング、検索強化生成。
• 3つのユースケースで評価する：エンジニアリングアシスタントのチャットボット、EDA スクリプト生成、バグ要約/分析。
• ベースの LLaMA2 モデルと比較して、ドメイン適応がモデルサイズ、コスト、性能へ与える影響を評価する。

提案手法

• 内部のチップ設計テキストや公開ソースなど、ドメイン特有のデータを用いて、LLaMA2 7B/13B に対してドメイン適応型事前学習（DAPT）を適用し、ChipNeMo 基盤モデルを構築する。
• トークナイザーをドメイン特有のトークンで適応させ、トークン化効率を向上させる（約9Kの新トークンを追加）。
• 一般的なチャットデータ（128k サンプル）とドメイン特化の指示データ（≈1.1k サンプル）の組み合わせで、教師付きファインチューニング（SFT）を適用。
• ドメイン適応型検索モデルを再訓練し、検索強化生成（RAG）を組み込んで、回答をドメイン内の抜粋に grounding する。
• AutoEval 風のドメインベンチマーク、人的評価、コード生成指標を3つのアプリケーション全体で評価。
• ChipNeMo を vanilla LLMs（例: LLaMA2-13B-Chat*, LLaMA2-70B-Chat）と比較し、スケーリング、トークナイゼーション、検索の影響を分析。

Figure 1 : ChipNeMo Training Flow

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応型 LLM は、一般用途の LLM と比較して、チップ設計タスクでどのように性能を発揮しますか？
• RQ2 ドメイン適応型事前学習、ドメイン特化トークナイザー、ドメイン適合の SFT がタスク性能に与える影響は何ですか？
• RQ3 検索強化生成は、チップ設計のシナリオにおけるドメイン特有の回答の正確性と grounding を改善できますか？
• RQ4 ChipNeMo 手法を適用した場合のモデルサイズ、学習コスト、推論効率のトレードオフはどのようなものですか？
• RQ5 評価された3つのアプリケーション（エンジニアリングアシスタントのチャットボット、EDA スクリプト生成、バグ要約/分析）は、ドメイン適応下でどう機能しますか？

主な発見

• ドメイン適応型 ChipNeMo モデルは、3つのタスクすべてで、複数のドメインベンチマークと人間評価において、ベースの LLM を上回る。
• エンジニアリングアシスタントのチャットボットは専門家評価で7.4/10、EDA スクリプト生成は正確性が50%を超える、バグ要約/割り当てタスクは専門家によって4–5/7 と評価。
• ドメイン適応は、最先端の 70B モデルと 13B モデルのギャップを縮め、コンテキスト中心のタスクで同等以上の性能を維持しつつ、最大で 5x のパラメータ削減を可能にする。
• カスタマイズされたドメイントークナイザーは、アプリケーションの有効性を損なうことなく、DAPT のトークン数を最大で 3.3%削減。
• ドメイン適応型検索モデルは、事前学習済み検索モデルよりヒット率を30%改善し、RAG の性能を向上。
• ドメインデータを用いた検索強化は、RAG対応モデルの人間評価スコアを顕著に向上させる。

Figure 2 : Smoothed Training Loss for ChipNeMo with Tokenizer Augmentation.