[論文レビュー] Attention Routing: track-assignment detailed routing using attention-based reinforcement learning

Haiguang Liao, Qingyi Dong+6 more|arXiv (Cornell University)|Apr 20, 2020

VLSI and FPGA Design Techniques参考文献 37被引用数 9

ひとこと要約

本論文では、高度なIC設計におけるトラック割り当て詳細ルーティングのための、強化学習に基づく最初のアプローチとして、Attention Routerを紹介する。複雑な設計ルールを符号化するアテンションモデルに基づくREINFORCEアルゴリズムを用いて、デバイスペアの順序を決定する。遺伝的ルーターと比較して100倍以上の高速化を達成し、品質の損失は最小限に抑えられ、ルーティング可能性と混雑度の一般化および予測能力を示している。

ABSTRACT

In the physical design of integrated circuits, global and detailed routing are critical stages involving the determination of the interconnected paths of each net on a circuit while satisfying the design constraints. Existing actual routers as well as routability predictors either have to resort to expensive approaches that lead to high computational times, or use heuristics that do not generalize well. Even though new, learning-based routing methods have been proposed to address this need, requirements on labelled data and difficulties in addressing complex design rule constraints have limited their adoption in advanced technology node physical design problems. In this work, we propose a new router: attention router, which is the first attempt to solve the track-assignment detailed routing problem using reinforcement learning. Complex design rule constraints are encoded into the routing algorithm and an attention-model-based REINFORCE algorithm is applied to solve the most critical step in routing: sequencing device pairs to be routed. The attention router and its baseline genetic router are applied to solve different commercial advanced technologies analog circuits problem sets. The attention router demonstrates generalization ability to unseen problems and is also able to achieve more than 100 times acceleration over the genetic router without significantly compromising the routing solution quality. We also discover a similarity between the attention router and the baseline genetic router in terms of positive correlations in cost and routing patterns, which demonstrate the attention router's ability to be utilized not only as a detailed router but also as a predictor for routability and congestion.

研究の動機と目的

• 先端IC設計（例：16 nm未満のFinFET技術）における高速で一般化可能かつ制約を考慮した詳細ルーティングの重要なニーズに対処すること。
• ラベル付きデータを必要とし、未確認の問題に一般化できないヒューリスティックベースのルーターおよび教師あり学習手法の限界を克服すること。
• 複雑な設計ルール制約をルーティングプロセスに直接組み込む強化学習フレームワークの開発。
• 解の品質、速度、一般化の観点から、遺伝的ルーターのベースラインと比較してAttention Routerの性能を評価すること。
• Attention Routerが上流の配置段階でルーティング可能性および混雑度予測子としての可能性を検討すること。

提案手法

• Attention Routerは、トランスフォーマー風のアテンションメカニズムに基づく方策勾配法を用い、詳細ルーティングにおけるデバイスペアの最適な順序を学習する。
• 設計ルールはルーティング状態表現に直接符号化され、幅・間隔パターン（WSP）やマルチパターニングルールを含む複雑な制約に準拠する。
• 報酬関数の推定にアドバンテージ関数を用いたREINFORCEアルゴリズムが、合計ワイヤーレンジスと混雑度コストを最適化するために使用される。
• モデルは合成問題セット（例：Small5000）で学習され、未学習のテストセット（例：Large500）で評価され、商用アナログ回路を含む。
• 解の品質と実行時間の観点から、強力なベースラインとして遺伝的ルーターが使用される。
• Attention Routerと遺伝的ルーターの解の間の正の相関関係を分析し、下流段階でルーティング可能性および混雑度予測子としての利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくアプローチは、先端技術ノードにおける複雑な設計ルール制約を尊重しながら、高速かつ高品質な詳細ルーティングを達成できるか？
• RQ2 限定的な例のセットで学習した後、Attention Routerは未学習の問題インスタンスに一般化できるか？
• RQ3 Trainingデータサイズの増加に伴い、Attention Routerの性能はどのようにスケーリングするか？
• RQ4 Attention Routerの解のパターンが遺伝的ルーターのものとどの程度相関しているか。これにより、ルーティング可能性または混雑度予測子としての利用が可能か？
• RQ5 Attention Routerのサンプル効率はどの程度で、問題サイズに伴いどのようにスケーリングするか？

主な発見

• Attention Routerは、遺伝的ルーターと比較して100倍以上の高速化を達成しながら、ベースラインと数パーセント以内の解の品質を維持している。
• Small500からSmall5000へのトレーニング問題数の増加により、トレーニングおよびテスト両セットにおけるAttention Routerの性能が顕著に向上した。
• 合計コスト（ワイヤーレンジス）の観点で、Attention Routerと遺伝的ルーターの間には強い正の相関が観察され、類似した解の品質パターンを示している。
• Attention Routerは、特に混雑領域や接続されていないインスタンスの位置において、遺伝的ルーターと類似したルーティングパターンを生成しており、細粒度の混雑度予測子としての有用性を示唆している。
• 適切なトレーニングを経た後、同じ問題分布からの未学習の問題に、Attention Routerは良好に一般化しており、強靭性と転送性を示している。
• 他のルーターからのラベル付きデータを必要とせず、配置段階におけるルーティング可能性および混雑度予測子としての可能性を示している。