[논문 리뷰] On Joint Learning for Solving Placement and Routing in Chip Design

Ruoyu Cheng, Junchi Yan|arXiv (Cornell University)|2021. 10. 30.

VLSI and FPGA Design Techniques참고 문헌 34인용 수 34

한 줄 요약

논문은 엔드투엔드 매크로/표준셀 배치용 DeepPlace와 다중 뷰 임베딩 및 무작위 네트워크 디스틸레이션으로 강화 학습 기반의 공동 배치 및 배선 방법인 DeepPR를 제시하며, ISPD-2005 벤치마크에서 와이어레이트 개선 및 학습 속도 향상을 보여준다.

ABSTRACT

For its advantage in GPU acceleration and less dependency on human experts, machine learning has been an emerging tool for solving the placement and routing problems, as two critical steps in modern chip design flow. Being still in its early stage, there are fundamental issues: scalability, reward design, and end-to-end learning paradigm etc. To achieve end-to-end placement learning, we first propose a joint learning method termed by DeepPlace for the placement of macros and standard cells, by the integration of reinforcement learning with a gradient based optimization scheme. To further bridge the placement with the subsequent routing task, we also develop a joint learning approach via reinforcement learning to fulfill both macro placement and routing, which is called DeepPR. One key design in our (reinforcement) learning paradigm involves a multi-view embedding model to encode both global graph level and local node level information of the input macros. Moreover, the random network distillation is devised to encourage exploration. Experiments on public chip design benchmarks show that our method can effectively learn from experience and also provides intermediate placement for the post standard cell placement, within few hours for training.

연구 동기 및 목표

• ML 기반 배치 및 배선의 확장성, 보상 설계, 엔드투엔드 학습 격차를 동기부여하고 해결한다.
• RL과 그래디언트 기반 최적화를 통해 매크로와 표준셀을 순차적으로 배치하는 엔드투엔드 DeepPlace 방법을 제안한다.
• 강화 학습으로 배치와 배선을 공동으로 학습하는 DeepPR를 개발한다.
• 상태 표현을 위한 다중 뷰 임베딩(CNN+GNN)과 탐색 강화를 위한 무작위 네트워크 디스틸레이션(RND)을 도입한다.

제안 방법

• 칩 캔버스의 n x n 격자 위치에 대해 이산 행동 공간으로 배치를 RL 문제로 모델링한다.
• 글로벌 CNN 기반 레이아웃 임베딩과 로컬 GNN 기반 넷리스트 임베딩을 융합한 정책 네트워크를 사용해 매크로 배치 행동을 예측한다.
• 매크로 배치에 대해 RL과 표준셀 배치를 위한 그래디언트 기반 배치기(DREAMPlace)를 결합해 전체 배치를 얻는다.
• 배치를 위한 RL 에이전트를 학습하고, 라우팅은 최종 와이어렁스 피드백을 보상으로 사용하여 공동 배치를 확장하는 방식으로 확장한다.
• 배치 탐색에 intrinsic 보상을 제공하기 위해 무작위 네트워크 디스틸레이션(RND)을 도입한다.
• 평가로 PPO 기반 학습, 와이어렁스의 RPC 프록시로 HPWL, RUDY 기반 혼잡 지표를 사용하며 필요시 별도의 라우터나 RL 기반 라우터로 라우팅한다.

실험 결과

연구 질문

• RQ1 엔드투엔드 학습이 순차적 또는 해석적 배치기와 비교해 매크로/표준셀 배치를 개선할 수 있는가?
• RQ2 강화 학습으로의 공동 배치와 배선이 별도 파이프라인보다 최종 와이어렁스를 더 잘 만들 수 있는가?
• RQ3 다중 뷰 임베딩(CNN+GNN)과 내재적 탐색 보상(RND)이 칩 배치의 학습 효율성과 해법 품질을 향상시키는가?
• RQ4 그래디언트 기반 표준셀 배치기와 매크로용 RL의 통합이 런타임 및 확장성에 어떤 영향을 미치는가?
• RQ5 더 큰 매크로 수와 더 복잡한 설계로 확장할 때의 트레이드오프와 한계는 무엇인가?

주요 결과

• DeepPlace(매크로+표준셀 배치)는 순차 배치 접근법보다 와이어렁스가 더 우수하며 ISPD-2005 회로 전반에 걸쳐 일관된 개선을 보인다.
• DeepPR(공동 배치 및 배선)은 별도 파이프라인에 비해 라우팅 인식 와이어렁스가 크게 개선되어 엔드투엔드 최적화의 이점을 보여준다.
• 다중 뷰 정책 네트워크(CNN+GNN)와 RND 내재 보상은 특히 탐색 및 최종 보상 측면에서 대안들에 비해 크게 우수하다.
• DeepPlace는 매크로 배치 런타임에서 RePlace 대비 약 4배의 속도 향상을 달성한다.
• 매크로 전용 네트에 대한 사전학습은 수렴을 가속화하고 전체 배치 및 배선 작업으로 확장할 때 학습 안정성을 높인다.