[論文レビュー] Circuit Routing Using Monte Carlo Tree Search and Deep Neural Networks

Youbiao He, Forrest Sheng Bao|arXiv (Cornell University)|Jun 24, 2020

VLSI and FPGA Design Techniques参考文献 29被引用数 11

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）によってガイドされるモンテカルロツリー探索（MCTS）を用いたエンドツーエンドの回路ルーティング手法を提案する。この手法は、ルーティングを段階的決定問題としてモデル化し、DNNによってガイドされる深さ優先探索のロールアウトと、最大報酬に基づくUCT選択を組み合わせることで、従来のMCTSやベースライン手法よりも高い成功確率と低いワイヤ冗長性を達成した。特に、複雑でかつ従来の手法では解けなかった単層回路に対しても有効である。

ABSTRACT

Circuit routing is a fundamental problem in designing electronic systems such as integrated circuits (ICs) and printed circuit boards (PCBs) which form the hardware of electronics and computers. Like finding paths between pairs of locations, circuit routing generates traces of wires to connect contacts or leads of circuit components. It is challenging because finding paths between dense and massive electronic components involves a very large search space. Existing solutions are either manually designed with domain knowledge or tailored to specific design rules, hence, difficult to adapt to new problems or design needs. Therefore, a general routing approach is highly desired. In this paper, we model the circuit routing as a sequential decision-making problem, and solve it by Monte Carlo tree search (MCTS) with deep neural network (DNN) guided rollout. It could be easily extended to routing cases with more routing constraints and optimization goals. Experiments on randomly generated single-layer circuits show the potential to route complex circuits. The proposed approach can solve the problems that benchmark methods such as sequential A* method and Lee's algorithm cannot solve, and can also outperform the vanilla MCTS approach.

研究の動機と目的

• 設計ルールの変化に伴い、保守・適合が困難となる手作業で作成されたヒューリスティックベースのルーティングアルゴリズムの限界を克服すること。
• ドメイン特化のヒューリスティクスや手動チューニングに依存しない汎用的なルーティングフレームワークの開発。
• ルーティング済み回路の学習を通じて、専門知識に依存しない自動的なルーティング戦略の学習を可能にすること。
• 深層強化学習で拡張されたMCTSを用いて、大規模なルーティング問題における探索効率と解の品質を向上させること。
• 設計制約や最適化目標を報酬関数の変更のみで柔軟かつ拡張可能に変更できる、柔軟で拡張性のあるルーティングシステムの構築。

提案手法

• 各アクションがグリッドグラフに頂点または辺を追加する段階的決定プロセスとして回路ルーティングをモデル化し、ゴーゲームにおける石の配置に類似させる。
• ルーティング成功の可能性がより高いノードを優先するため、最大報酬に基づく上位信頼区間（Max-UCT）を用いたモンテカルロツリー探索（MCTS）を採用する。
• 畳み込みニューラルネットワーク（CNN）を用いて高品質なルーティングアクションを予測し、探索空間を削減する。
• DNNによるアクション予測と深さ優先探索（DFS）をロールアウト方針として組み合わせることで、シミュレーション中に有望な経路を効率的に探索する。
• 成功ルーティングと失敗ルーティングを区別する報酬関数を導入し、両者からの学習を可能にする。
• 異なるルーティングタスク間で探索知識を保持・再利用するが、現段階の実装では状態間知識移行はまだ対応していない。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成されたヒューリスティクスに依存せずに、深層ニューラルネットワークがMCTSを用いて複雑な回路ルーティング問題を効果的に解けるか？
• RQ2 平均報酬に基づくUCTと比較して、最大報酬に基づくUCT選択がルーティング成功確率と解の品質を向上させるか？
• RQ3 提案されたMCTS-DNNフレームワークは、A* やリーのアルゴリズムといった標準的手法では解けない回路をルーティングできるか？
• RQ4 DNNガイド付きロールアウトの統合が、探索効率とワイヤ長最適化にどのように影響するか？
• RQ5 アーキテクチャの変更なしに、マルチレイヤー設計やその他のルーティング制約にフレームワークを拡張できる範囲はどの程度か？

主な発見

• DNNガイド付きロールアウトを用いた提案手法は、1,000イタレーションで複雑な単層回路において100%の成功確率を達成した。これに対して、ベースライン手法は完全に失敗した。
• 5,000イタレーションで、本手法はワイヤ冗長性比を4.5%まで低減した。これに対して、平均報酬に基づくUCTを用いたvanilla MCTSの平均は76.7%であった。
• Max-UCTバージョンではイタレーション数の増加に伴いワイヤ冗長性が単調に減少したが、Avg-UCTバージョンではその傾向が見られず、収束性と最適化性能が優れていることが示された。
• DNN-DFSロールアウト方針により、500イタレーションで平均93.33%の成功確率、1,000イタレーションで100%の成功確率を達成した。これは、スケーラビリティとガイド品質の高さを示している。
• 本手法は、従来の順次的A*およびリーのアルゴリズムでは解けなかった回路を正常にルーティングできた。これは、困難なインスタンスに対しても有効であることを証明している。
• フレームワークは非常に柔軟に適応可能である。設計ルールや最適化目標を変更するには、報酬関数の変更のみでよく、アルゴリズムやコードベースの変更は不要である。