[論文レビュー] On the Viability of using LLMs for SW/HW Co-Design: An Example in Designing CiM DNN Accelerators

Zheyu Yan, Yifan Qin+2 more|arXiv (Cornell University)|Jun 12, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、大規模言語モデル（LLMs）をソフトウェア・ハードウェア（SW/HW）共同設計の最適化手法として使用する最初のフレームワークであるLCDAを提案する。特に、メモリ内計算（CiM）アーキテクチャを対象としており、事前学習済みLLMsを用いることで、ニューラルアーキテクチャ探索における「コールドスタート」問題を回避する。LCDAは、最先端の手法と同等の精度およびエネルギー効率を維持しながら、25倍の高速化を達成した。

ABSTRACT

Deep Neural Networks (DNNs) have demonstrated impressive performance across a wide range of tasks. However, deploying DNNs on edge devices poses significant challenges due to stringent power and computational budgets. An effective solution to this issue is software-hardware (SW-HW) co-design, which allows for the tailored creation of DNN models and hardware architectures that optimally utilize available resources. However, SW-HW co-design traditionally suffers from slow optimization speeds because their optimizers do not make use of heuristic knowledge, also known as the ``cold start'' problem. In this study, we present a novel approach that leverages Large Language Models (LLMs) to address this issue. By utilizing the abundant knowledge of pre-trained LLMs in the co-design optimization process, we effectively bypass the cold start problem, substantially accelerating the design process. The proposed method achieves a significant speedup of 25x. This advancement paves the way for the rapid and efficient deployment of DNNs on edge devices.

研究の動機と目的

• 最適化手法が初期にランダムな推測から始められ、ヒューリスティックな知識を欠くというSW/HW共同設計における「コールドスタート」問題に対処すること。
• 事前学習済みLLMsを知的最適化手法として用いることで、最適なDNNおよびハードウェア共同設計の探索を加速する可能性を検討すること。
• LLMsがディープラーニングおよびハードウェア設計に関する広範な知識を活用することで、高品質なDNNおよびCiMアクセラレータ設計を効果的に提案できることを実証すること。
• CiMアクセラレータの分野固有の制約（たとえば、キーワードサイズが遅延および効率に与える影響）を処理する際、市販のLLMsの限界を特定すること。
• 説明可能なNAS、ファインチューニングされたオープンソースLLMs、および自動設計ツールとの統合に関する今後の研究の道筋を示すこと。

提案手法

• SW/HW共同設計のためのニューラルアーキテクチャ探索パイプラインに、事前学習済みLLM（GPT-4）をコントローラーとして統合する。
• DNNアーキテクチャおよび対応するCiMアクセラレータ設定の生成を誘導するように、洗練されたプロンプトを設計する。
• 精度、遅延、エネルギー消費量を測定するために、シミュレータ（NeuroSIM）を用いて候補設計を評価する。
• LCDAの性能を、検索速度および設計品質の観点から最先端のNACIM手法と比較する。
• タスク固有のプロンプトを無効化することで、ドメインに配慮したプロンプトの最適化品質に与える影響を分離するためのアブレーションスタディを実施する。
• 失敗事例を分析し、キーワードサイズやハードウェア利用効率に関する誤った仮定といった、LLMにおける分野固有の誤解を特定する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みLLMsは、『コールドスタート』問題を回避できるように、SW/HW共同設計の最適化手法として効果的に機能するか？
• RQ2 強化学習や遺伝的アルゴリズムに基づく手法と比較して、LLMベースの共同設計の速度および設計品質はどのように異なるか？
• RQ3 GPT-4のような汎用LLMsをCiMアクセラレータ共同設計に使用する際の限界は何か、特にハードウェア固有の制約に関しては？
• RQ4 タスク固有のプロンプトは、LLMsからの設計提案の質および効率にどのように影響を与えるか？
• RQ5 LLMが生成する設計エラーの今後の共同設計フレームワークに与える影響は何か、そしてそれらはどのように緩和できるか？

主な発見

• LCDAは、最適なDNNおよびCiMアクセラレータ共同設計を探索する際、最先端のNACIM手法よりも25倍の高速化を達成した。
• 高速化にもかかわらず、LCDAの設計候補は、精度-遅延トレードオフにおいてNACIMを一貫して上回るとは限らず、パレートフロントの左上隅に1つの例外を除いては存在しなかった。
• LLMの性能は、誤った一般化（例：精度を向上させるためにキーワードサイズを常に増加させる）によって制限されており、デバイスのばらつき効果により、最適でない設計が生じていた。
• アブレーションスタディの結果、タスク固有のプロンプトを無効化した場合、LLM（LCDA-naive）は効率的な設計を生成できず、ドメインに配慮したプロンプトの必要性が浮き彫りになった。
• LLMはハードウェア効率の本質的理解に欠けており、5×5キーワードサイズはクロスバー利用効率を低下させ、遅延を増加させる可能性があるが、このニュアンスを捉えていなかった。
• 本研究は、市販のモデルがCiMアクセラレータ共同設計に最適な知識を欠いているため、ドメイン固有のデータでLLMsをファインチューニングする必要があることを強調した。