[논문 리뷰] MaskPlace: Fast Chip Placement via Reinforced Visual Representation Learning

Yao Lai, Yao Mu외 1명|arXiv (Cornell University)|2022. 11. 24.

Advanced Memory and Neural Computing인용 수 21

한 줄 요약

MaskPlace는 칩 배치를 픽셀 수준의 시각 표현 학습으로 재구상하고, 밀도 보상(Dense rewards)을 갖춘 RL 정책으로 매크로를 224x224 캔버스에 배치하여 유효한 0% 겹침 레이아웃을 달성하고 기존 방법에 비해 와이어길이(Wirelength)를 크게 줄인다.

ABSTRACT

Placement is an essential task in modern chip design, aiming at placing millions of circuit modules on a 2D chip canvas. Unlike the human-centric solution, which requires months of intense effort by hardware engineers to produce a layout to minimize delay and energy consumption, deep reinforcement learning has become an emerging autonomous tool. However, the learning-centric method is still in its early stage, impeded by a massive design space of size ten to the order of a few thousand. This work presents MaskPlace to automatically generate a valid chip layout design within a few hours, whose performance can be superior or comparable to recent advanced approaches. It has several appealing benefits that prior arts do not have. Firstly, MaskPlace recasts placement as a problem of learning pixel-level visual representation to comprehensively describe millions of modules on a chip, enabling placement in a high-resolution canvas and a large action space. It outperforms recent methods that represent a chip as a hypergraph. Secondly, it enables training the policy network by an intuitive reward function with dense reward, rather than a complicated reward function with sparse reward from previous methods. Thirdly, extensive experiments on many public benchmarks show that MaskPlace outperforms existing RL approaches in all key performance metrics, including wirelength, congestion, and density. For example, it achieves 60%-90% wirelength reduction and guarantees zero overlaps. We believe MaskPlace can improve AI-assisted chip layout design. The deliverables are released at https://laiyao1.github.io/maskplace.

연구 동기 및 목표

• 자동화된 칩 배치를 도입하여 수백만 개 모듈을 높은 효율로 처리하고 유효한 레이아웃을 확보한다.
• 큰 캔버스에서 네트 구성과 핀 구성을 픽셀 수준의 시각 표현으로 인코딩한다.
• 칩 배치를 위한 강한 보상으로 와이어길이를 최적화하고 겹침을 방지하는 강화 학습 정책을 개발한다.
• 전체 캔버스 배치(224x224)와 큰 행동 공간에서 효율적인 계산을 가능하게 한다.
• 공개 벤치마크에서 기존의 최적화 기반 및 학습 기반 배치 방법들보다 우수함을 입증한다.

제안 방법

• 배치를 매 단계 하나의 모듈을 배치하는 Markov Decision Process로 표현한다.
• 상태를 인코딩하고 핀 수준 정보를 잃지 않도록 위치, 와이어, 뷰의 세 가지 픽셀 수준 마스크를 사용한다.
• 정책 네트워크에서 1x1 합성곱으로 마스크를 융합하여 캔버스 전체에 걸친 밀도 있는 행동 확률 맵을 예측한다.
• 스파스한 보상 대신 단계별 부분 HPWL 감소를 기반으로 하는 밀도 보상을 정의하여 학습을 안내한다.
• 행동 선택 시 과밀(congestion) 제약을 강제하기 위한 혼잡 만족 블록을 포함한다.
• HPWL을 주요 보상으로 하고 혼잡 인식 최종 행동 선택 단계로 PPO2 액터-크리틱 프레임워크로 학습한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 시각 표현이 큰 캔버스에서 고품질의 비중첩 매크로 배치를 지원하는가?
• RQ2 RL 프레임워크에서 밀도 기반 HPWL 보상이 스파스 보상 또는 하이퍼그래프 기반 표현보다 칩 배치에 대해 더 나은가?
• RQ3 MaskPlace가 와이어길이, 밀도, 혼잡 측면에서 표준 벤치마크의 최첨단 최적화 및 학습 기반 배치와 비교하여 어떤 우위를 보이는가?
• RQ4 제로 오버랩과 경쟁력 있는 경로 메트릭을 달성하면서 합리적인 계산 시간 내에 224x224 전체 캔버스에 매크로 배치가 가능한가?

주요 결과

• MaskPlace는 평가된 벤치마크에서 일관되게 0% 겹침을 달성한다.
• MaskPlace는 Graph Placement 및 DeepPR 대비 와이어길이 감소를 크게 달성하며(일부 비교에서 최대 60%-90% 수준)
• 24개 공용 벤치마크에서 MaskPlace가 와이어길이, 혼잡, 밀도 측면에서 최근의 RL 및 최적화 기반 방법을 능가한다.
• Graph Placement와 비교 시 대부분의 ISPD 벤치마크에서 HPWL 개선과 제로 오버랩을 보여준다.
• MaskPlace는 고해상도 표현을 갖춘 전체 224x224 캔버스에서 작동하며, 다른 학습 기반 방법들보다 추론 속도가 빠르다.
• 혼잡 만족 메커니즘으로 높은 밀도 제약을 충족시키면서 와이어길이를 효율적으로 최적화한다.