[論文レビュー] A Deep Reinforcement Learning Approach for Global Routing

Haiguang Liao, Wentai Zhang+4 more|arXiv (Cornell University)|Jun 20, 2019

VLSI and FPGA Design Techniques参考文献 31被引用数 9

ひとこと要約

本稿では、深層強化学習（DRL）を用いた手法を提案し、深層Qネットワーク（DQN）を用いて集積回路設計におけるグローバルルーティング問題を解く。複数のネットを同時に共同最適化可能であり、80%のテストケースで逐次的A*ルーティングを上回り、フローがゼロで、ワイヤーレングスも改善された。また、スケーラブルなトレーニングと評価を可能にするパラメータ化された問題生成器を導入した。

ABSTRACT

Global routing has been a historically challenging problem in electronic circuit design, where the challenge is to connect a large and arbitrary number of circuit components with wires without violating the design rules for the printed circuit boards or integrated circuits. Similar routing problems also exist in the design of complex hydraulic systems, pipe systems and logistic networks. Existing solutions typically consist of greedy algorithms and hard-coded heuristics. As such, existing approaches suffer from a lack of model flexibility and non-optimum solutions. As an alternative approach, this work presents a deep reinforcement learning method for solving the global routing problem in a simulated environment. At the heart of the proposed method is deep reinforcement learning that enables an agent to produce an optimal policy for routing based on the variety of problems it is presented with leveraging the conjoint optimization mechanism of deep reinforcement learning. Conjoint optimization mechanism is explained and demonstrated in details; the best network structure and the parameters of the learned model are explored. Based on the fine-tuned model, routing solutions and rewards are presented and analyzed. The results indicate that the approach can outperform the benchmark method of a sequential A* method, suggesting a promising potential for deep reinforcement learning for global routing and other routing or path planning problems in general. Another major contribution of this work is the development of a global routing problem sets generator with the ability to generate parameterized global routing problem sets with different size and constraints, enabling evaluation of different routing algorithms and the generation of training datasets for future data-driven routing approaches.

研究の動機と目的

• IC設計におけるグローバルルーティングという長年の課題に取り組む。これはNP完全であり、従来は柔軟性や最適性に欠けるヒューリスティックでグリーディに解かれてきた。
• 深層強化学習が複数のネットを同時に最適化できることを検証し、逐次的ルーティングの制限を回避し、解の品質を向上させることを目的とする。
• データ駆動型ルーティングアルゴリズムのトレーニング、評価、ベンチマークを支援するため、スケーラブルなパラメータ化されたグローバルルーティング問題生成器を開発すること。
• DQNのハイパーパrameterとネットワークアーキテクチャを最適化し、グローバルルーティングタスクにおけるパフォーマンスを最大化すること。
• 同じ制約下で、DRLが従来のA*ルーティングに比べて優れたルーティング解を生成できることを実証すること。

提案手法

• グローバルルーティングをマーコフ決定過程（MDP）として定式化し、離散的な状態がルーティンググリッドの構成を表し、行動がワイヤー配置の意思決定を表す。
• 深層Qネットワーク（DQN）を用いて、現在の状態に基づき最適なルーティング行動を選択する方策を学習し、成功・失敗のルーティング試行からの報酬を統合する。
• エージェントが複数のネットとピンを同時に考慮する共同最適化メカニズムを採用し、逐次的なネット単位のルーティングではなく、同時に最適化を実現する。
• 経験再生とターゲットネットワークを適用し、Q値関数の学習における過剰推定を抑制し、トレーニングを安定化させる。
• 初期方策の学習を向上させ、収束を加速させるために、A*によって生成されたルーティングデータを用いたメモリバーニングを実装する。
• パラメータ化された問題セット（グリッドサイズ、ネット数、混雑度制約をカスタマイズ可能）を生成するグローバルルーティング問題生成器を開発し、トレーニングと評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 DQNベースのエージェントは、複数のネットを同時に最適化することで、逐次的A*ルーティングよりもグローバルルーティングをより効果的に実行できるか？
• RQ2 DQNにおける共同最適化メカニズムは、ネット単位で逐次的にルーティングする方法と比較して、どのようにルーティングパフォーマンスを向上させるか？
• RQ3 学習率、エプソン、バッチサイズなどのハイパーパrameterや、ネットワーク構造のうち、DRLベースのルーティングフレームワークで最も優れたパフォーマンスを発揮するのはどれか？
• RQ4 一度最適化されたDQNモデルは、再トレーニングなしに大規模なルーティング問題に一般化できるか？
• RQ5 A*によって生成された経験データを用いたメモリバーニングは、DQNのトレーニング速度と解の品質をどの程度向上させるか？

主な発見

• DQNベースのルーターは、テストされたType II問題の80%でA*ルーターを上回り、実世界のルーティングシナリオにおいて優れた解の品質を示した。
• DQNのすべての解でエッジフローがゼロ（OF）であったが、A*の解では正のOFが発生したケースもあったため、制約の満たし方が優れていた。
• DQNモデルは、大多数のケースでA*よりも優れた総ワイヤーレングス（WL）を達成しており、特に混雑度が高い状況で顕著な改善が見られた。
• 再トレーニングなしで$16\times16\times2$グリッドの大きなスケールの問題に対しても、効果的に一般化され、スケールにかかわらず高いパフォーマンスを維持した。
• A*によって生成されたデータを用いたメモリバーニングはパフォーマンスを向上させ、ランダムバーニングよりも優れていたが、学習速度の向上は顕著ではなかった。
• 提案された問題生成器により、多様なルーティング問題セットを迅速かつスケーラブルに生成可能となり、将来のデータ駆動型ルーティング研究とベンチマークに貢献した。