[論文レビュー] Placement in Integrated Circuits using Cyclic Reinforcement Learning and Simulated Annealing

Dhruv Vashisht, Harshit Rampal+5 more|arXiv (Cornell University)|Nov 15, 2020

VLSI and FPGA Design Techniques被引用数 15

ひとこと要約

本論文は、組み合わせ回路配置における周期的強化学習（RL）と焼きなまし法（SA）のフレームワークを提案する。RLは局所探索を効率的に行うSAの初期解を高品質に提供する。本手法は、ami49 や lattice といったベンチマークにおいて、ランダム初期化のSAと比較して平均コストを 4–7% 割り引くという顕著な改善を達成しており、学習された初期化と反復的精錬により収束性とロバスト性が向上していることを示している。

ABSTRACT

Physical design and production of Integrated Circuits (IC) is becoming increasingly more challenging as the sophistication in IC technology is steadily increasing. Placement has been one of the most critical steps in IC physical design. Through decades of research, partition-based, analytical-based and annealing-based placers have been enriching the placement solution toolbox. However, open challenges including long run time and lack of ability to generalize continue to restrict wider applications of existing placement tools. We devise a learning-based placement tool based on cyclic application of Reinforcement Learning (RL) and Simulated Annealing (SA) by leveraging the advancement of RL. Results show that the RL module is able to provide a better initialization for SA and thus leads to a better final placement design. Compared to other recent learning-based placers, our method is majorly different with its combination of RL and SA. It leverages the RL model's ability to quickly get a good rough solution after training and the heuristic's ability to realize greedy improvements in the solution.

研究の動機と目的

• 先進的なIC設計における従来の配置手法の長時間実行とスケーラビリティの低さに対処すること。
• 複雑な制約や大規模な状態空間を扱う際に、純粋なヒューリスティック法や最適化ベースの配置手法の限界を克服すること。
• 強化学習が経験から一般化・学習できる能力を活用するとともに、SAの局所探索の効率性と組み合わせること。
• RLを用いてSAのための優れた初期解を生成することで、高品質な結果に到達するまでのステップ数を削減し、配置品質を向上させること。
• 固定ブロックや複雑な設計ルール制約を含む多様なICベンチマークにわたる一般化性能の向上。

提案手法

• ネットリストとチップレイアウトの状態を符号化するために、カスタムRL環境内でのシーケンスペア表現を用いて配置問題を定式化する。
• 複数のエポックにわたり訓練された強化学習エージェントが、コンactな初期配置を表すシーケンスペアを生成する。
• 各エポック終了後に、RLで得られた解が焼きなまし法フェーズの初期化に用いられる。
• RLのグローバル探索とSAの局所的最適化を活用するため、RLポリシー更新とSA精錬を交互に繰り返す周期的プロセスを採用する。
• RLは10–15エポック、1エポックあたり200ステップで訓練し、各サイクルで5000ステップのSAステップを実行して解を精錬する。
• 本フレームワークは、固定ブロックあり・なしのami49および、100–625ブロックのサイズ変化を持つlattice問題の2つのベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、IC配置における焼きなまし法の高品質な初期配置を効果的に学習できるか？
• RQ2 RLとSAを組み合わせることで、ランダム初期化のSAと比較して収束が速くなり、最終的な配置品質が向上するか？
• RQ3 固定ブロックや複雑な制約を含むさまざまなベンチマークサイズおよび設定において、RL-SA周回フレームワークはどのように性能を発揮するか？
• RQ4 強化学習エージェントは、異なるICレイアウトや設計タイプにどの程度一般化できるか？
• RQ5 強化学習モデルは、競争力のある配置結果を得るために必要なSAステップ数を削減できるか？

主な発見

• 100ブロックのlattice問題では、RL初期化で平均コストが3,386 µmに低下したのに対し、ランダム初期化では3,532 µmであり、4.1%の改善が得られた。
• 625ブロックのlattice問題では、平均コストがRL初期化で86,064 µmから85,329 µmに低下し、0.85%の改善が得られた。
• 固定ブロックを含むami49ベンチマークでは、RL初期化で平均コストが49 mm²、ランダム初期化では53 mm²であり、7.5%の低減が達成された。
• 固定ブロックなしのami49ベンチマークでは、RL初期化で平均コストが43 mm²、ランダム初期化で46 mm²であり、6.5%の改善が得られた。
• 結果の標準偏差は、RL初期化では1.41–1.46、ランダム初期化では1.93–1.97と一貫して低く、より安定した信頼性の高い性能を示している。
• 同じSAステップ数でも、RL-SAフレームワークはより優れた配置コンパクトネスを達成しており、RLが局所探索の優れた出発点を提供していることが示された。