[論文レビュー] MaskPlace: Fast Chip Placement via Reinforced Visual Representation Learning

Yao Lai, Yao Mu+1 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Memory and Neural Computing被引用数 21

ひとこと要約

MaskPlaceはチップ配置をピクセルレベルの視覚表現学習として再定義し、密な報酬を用いたRLポリシーでマクロを224x224のキャンバス上に配置し、従来手法と比較して有効な0%の重複レイアウトを実現し、ワイヤーレイアウト長の大幅な削減を達成します。

ABSTRACT

Placement is an essential task in modern chip design, aiming at placing millions of circuit modules on a 2D chip canvas. Unlike the human-centric solution, which requires months of intense effort by hardware engineers to produce a layout to minimize delay and energy consumption, deep reinforcement learning has become an emerging autonomous tool. However, the learning-centric method is still in its early stage, impeded by a massive design space of size ten to the order of a few thousand. This work presents MaskPlace to automatically generate a valid chip layout design within a few hours, whose performance can be superior or comparable to recent advanced approaches. It has several appealing benefits that prior arts do not have. Firstly, MaskPlace recasts placement as a problem of learning pixel-level visual representation to comprehensively describe millions of modules on a chip, enabling placement in a high-resolution canvas and a large action space. It outperforms recent methods that represent a chip as a hypergraph. Secondly, it enables training the policy network by an intuitive reward function with dense reward, rather than a complicated reward function with sparse reward from previous methods. Thirdly, extensive experiments on many public benchmarks show that MaskPlace outperforms existing RL approaches in all key performance metrics, including wirelength, congestion, and density. For example, it achieves 60%-90% wirelength reduction and guarantees zero overlaps. We believe MaskPlace can improve AI-assisted chip layout design. The deliverables are released at https://laiyao1.github.io/maskplace.

研究の動機と目的

• 自動チップ配置を動機づけ、大規模なモジュール数を高効率かつ有効なレイアウトで扱えるようにする。
• 大きなキャンバス上でネットとピンの構成をエンコードするピクセルレベルの視覚表現を導入する。
• 非重複を保証しつつワイヤーレットを最適化する密な報酬を生み出す強化学習ポリシーを開発する。
• 大きなアクション空間と効率的な計算で全キャンバス配置（224x224）を可能にする。
• 公開ベンチマークを横断して、従来の最適化ベースおよび学習ベースの配置手法に対して優位性を示す。

提案手法

• 配置を1つのモジュールを1ステップで配置するマルコフ決定過程として表現する。
• 状態を表現しピンレベル情報を失うことなく学習を可能にするため、位置・配線・ビューの3つのピクセルレベルマスクを用いる。
• ポリシーネットワークでマスクを1x1畳み込みで融合し、キャンバス全体にわたる密な行動確率マップを予測する。
• スパースな報酬を避けるよう、各ステップでの部分HPWL削減を基にした密な報酬を定義する。
• アクション選択時にハードな混雑制約を課すための混雑充足ブロックを組み込む。
• HPWLを主要報酬とし、混雑対応の最終アクション選択ステップを含むPPO2アクター-クリティックフレームワークで訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模キャンバス上でチップ配線とピンのピクセルレベルの視覚表現が高品質で非重複のマクロ配置を支援するか。
• RQ2 RLフレームワークにおける密なHPWLベースの報酬は、スパース報酬やハイパーグラフベースの表現より配置手法を上回るか。
• RQ3 MaskPlaceは配線長、密度、混雑の指標において標準ベンチマークで最先端の最適化ベースおよび学習ベースの配置法とどのように比較されるか。
• RQ4 ゼロ重複で完全な224x224キャンバス上にマクロを配置し、競争力のルーティング指標を持って合理的な計算時間内に達成可能か。

主な発見

• MaskPlaceは評価対象のベンチマーク全体で一貫して0%の重複を達成する。
• MaskPlaceはGraph PlacementおよびDeepPRと比較してワイヤーレイ長を大幅に削減する（例：いくつかの比較で最大60%-90%）。
• 24の公開ベンチマークで、MaskPlaceはワイヤレングス、混雑、密度の指標で最近のRLおよび最適化ベースの手法を上回る。
• Graph Placementと比較して、MaskPlaceは多くのISPDベンチマークでHPWLの大幅な改善と0重複を示す。
• MaskPlaceは高解像度表現を用いたフル224x224キャンバス上で動作し、いくつかの競合する学習ベース手法より推論が速い。
• 混雑充足メカニズムにより、ハードな密度制約を満たしつつワイヤーレイ長の効率的な最適化を維持する。