[論文レビュー] On Joint Learning for Solving Placement and Routing in Chip Design

Ruoyu Cheng, Junchi Yan|arXiv (Cornell University)|Oct 30, 2021

VLSI and FPGA Design Techniques参考文献 34被引用数 34

ひとこと要約

本論文は、エンドツーエンドのマクロ/標準セル配置にDeepPlaceを、マルチビュー嵌入とランダムネットワーク蒸留を用いた強化学習による結合配置と配線のDeepPRを提案し、ISPD-2005ベンチマークで配線長の改善とトレーニングの高速化を示す。

ABSTRACT

For its advantage in GPU acceleration and less dependency on human experts, machine learning has been an emerging tool for solving the placement and routing problems, as two critical steps in modern chip design flow. Being still in its early stage, there are fundamental issues: scalability, reward design, and end-to-end learning paradigm etc. To achieve end-to-end placement learning, we first propose a joint learning method termed by DeepPlace for the placement of macros and standard cells, by the integration of reinforcement learning with a gradient based optimization scheme. To further bridge the placement with the subsequent routing task, we also develop a joint learning approach via reinforcement learning to fulfill both macro placement and routing, which is called DeepPR. One key design in our (reinforcement) learning paradigm involves a multi-view embedding model to encode both global graph level and local node level information of the input macros. Moreover, the random network distillation is devised to encourage exploration. Experiments on public chip design benchmarks show that our method can effectively learn from experience and also provides intermediate placement for the post standard cell placement, within few hours for training.

研究の動機と目的

• MLベースの配置と配線におけるスケーラビリティ、報酬設計、エンドツーエンド学習のギャップを動機づけて解決する。
• RLと勾配ベースの最適化を用いて、マクロと標準セルを逐次配置するエンドツーエンドのDeepPlace手法を提案する。
• 強化学習によって配置と配線を結合学習するDeepPRを開発する。
• 状態表現のためのマルチビュー埋め込み（CNN+GNN）と探索を強化するためのランダムネットワーク蒸留を導入する。

提案手法

• n×nチップキャンバス上の格子位置に対する離散アクション空間を用いて、配置をRL問題としてモデル化する。
• グローバルなCNNベースのレイアウト埋め込みとローカルなGNNベースのネットリスト埋め込みを統合するポリシーネットワークを用いて、マクロ配置アクションを予測する。
• マクロ配置のRLと勾配ベースのプレースャー（DREAMPlace）を組み合わせて、完全な配置解を得る。
• 配置のRLエージェントを訓練し、配線には最終的な配線長のフィードバックを報酬として使用することで、結合配置と配線（DeepPR）へ拡張する。
• 配置中の探索のための内在的報酬を提供するために、ランダムネットワーク蒸留を組み込む。
• PPOベースの訓練、HPWLを配線長のRPC代理として、RUDYを混雑指標として用いて評価する。必要に応じて別のルータまたはRLベースのルータでルーティングを実施。」],
• research_questions:[
• Can end-to-end learning improve macro/standard-cell placement compared to sequential or analytic placers?
• Does joint placement and routing via reinforcement learning yield better final wirelength than a separate placement-and-routing pipeline?
• Does a multi-view embedding (CNN + GNN) plus intrinsic exploration reward (RND) improve learning efficiency and solution quality in chip placement?
• How does integrating a gradient-based standard-cell placer with RL for macros affect runtime and scalability?
• What are the trade-offs and limitations when scaling to larger macro counts and more complex designs?

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習は、逐次配置器や解析的配置器と比較して、マクロ/標準セル配置を改善できるか？
• RQ2 強化学習による結合配置と配線は、別個の配置と配線パイプラインよりも最終的な配線長を改善するか？
• RQ3 マルチビュー埋め込み（CNN+GNN）と内在探索報酬（RND）によって、チップ配置における学習効率と解の質が向上するか？
• RQ4 マクロ用のRLと勾配ベースの標準セルプレースャーを統合することが、実行時間とスケーラビリティにどう影響するか？
• RQ5 より多いマクロ数やより複雑な設計へスケールする場合のトレードオフと制約は何か？

主な発見

• DeepPlace（マクロ+標準セル配置）は、逐次配置法よりも配線長が良く、ISPD-2005回路全体で一貫した改善を示す。
• DeepPR（結合配置と配線）は、分離パイプラインよりもルーティングを考慮した配線長を大幅に改善し、エンドツーエンド最適化の利点を示す。
• マルチビュー方策ネットワーク（CNN+GNN）とRND内在報酬は、探索と最終報酬で特に基準より著しく優れている。
• DeepPlaceは、マクロ配置の実行時間において、ISPD-2005の8つの回路でRePlaceと比較して約4倍の高速化を提供します。
• マクロのみのネットでの事前訓練は、収束を加速し、完全な配置と配線タスクへ拡張する際の学習を安定化させる。