[논문 리뷰] Attention Routing: track-assignment detailed routing using attention-based reinforcement learning

Haiguang Liao, Qingyi Dong외 6명|arXiv (Cornell University)|2020. 04. 20.

VLSI and FPGA Design Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 고급 IC 설계에서 트랙 할당 세부 루팅을 위한 강화학습 기반 접근법인 Attention Router를 소개한다. 이는 복잡한 설계 규칙을 인코딩하는 어텐션 모델 기반 REINFORCE 알고리즘을 사용하여 장치 쌍의 순서를 정하는 것으로, 유전적 루터 대비 100배 이상의 속도 향상을 이룩하면서도 품질 손실가 최소화되었고, 루팅 가능성과 혼잡도 예측 능력 및 일반화 능력을 입증하였다.

ABSTRACT

In the physical design of integrated circuits, global and detailed routing are critical stages involving the determination of the interconnected paths of each net on a circuit while satisfying the design constraints. Existing actual routers as well as routability predictors either have to resort to expensive approaches that lead to high computational times, or use heuristics that do not generalize well. Even though new, learning-based routing methods have been proposed to address this need, requirements on labelled data and difficulties in addressing complex design rule constraints have limited their adoption in advanced technology node physical design problems. In this work, we propose a new router: attention router, which is the first attempt to solve the track-assignment detailed routing problem using reinforcement learning. Complex design rule constraints are encoded into the routing algorithm and an attention-model-based REINFORCE algorithm is applied to solve the most critical step in routing: sequencing device pairs to be routed. The attention router and its baseline genetic router are applied to solve different commercial advanced technologies analog circuits problem sets. The attention router demonstrates generalization ability to unseen problems and is also able to achieve more than 100 times acceleration over the genetic router without significantly compromising the routing solution quality. We also discover a similarity between the attention router and the baseline genetic router in terms of positive correlations in cost and routing patterns, which demonstrate the attention router's ability to be utilized not only as a detailed router but also as a predictor for routability and congestion.

연구 동기 및 목표

• 고급 IC 설계(예: <16 nm FinFET 기술)에서 빠르고 일반화 가능하며 제약 조건을 고려한 세부 루팅의 필수적인 요구사항을 해결하기 위해.
• 라벨이 부여된 데이터가 필요한 히ュ리스틱 기반 루터 및 지도 학습 방법의 한계를 극복하여, 새로운 문제에 대해 일반화하지 못하는 문제를 해결하기 위해.
• 복잡한 설계 규칙 제약 조건을 루팅 과정에 직접 통합하는 강화학습 프레임워크를 개발하기 위해.
• 해당 솔루션의 품질, 속도, 일반화 능력 측면에서 유전적 루터 기반 베이스라인과의 성능을 평가하기 위해.
• 위치 설정 단계에서 루팅 가능성 및 혼잡도 예측자로써 Attention Router의 잠재력을 탐색하기 위해.

제안 방법

• Attention Router는 트랜스포머 스타일의 어텐션 메커니즘을 기반으로 한 정책 그래เดียน트 방법을 사용하여 세부 루팅에서 장치 쌍의 최적 순서를 학습한다.
• 설계 규칙은 루팅 상태 표현에 직접 통합되어 폭-간격 패턴(WSP) 및 다중 패턴링 규칙과 같은 복잡한 제약 조건을 준수함을 보장한다.
• 우선도 함수 추정을 사용하는 REINFORCE 알고리즘을 적용하여 정책 네트워크를 훈련시키며, 총 배선 길이와 혼잡도 비용 최적화를 목표로 한다.
• 모델은 합성 문제 세트(예: Small5000)에서 훈련되고, 상용 아날로그 회로를 포함한 미사용 테스트 세트(예: Large500)에서 평가된다.
• 해당 솔루션의 품질과 런타임 측면에서 강력한 기준으로서 유전적 루터를 사용한다.
• Attention Router와 유전적 루터 솔루션 간의 양의 상관관계를 분석하여, 후속 단계에서 루팅 가능성 및 혼잡도 예측자로 활용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 접근법이 고급 공정 노드에서 복잡한 설계 규칙 제약 조건을 준수하면서도 고속·고품질의 세부 루팅을 달성할 수 있는가?
• RQ2 제한된 예시 세트에서 훈련된 후, Attention Router는 새로운 문제 인스턴스에 대해 일반화 가능한가?
• RQ3 훈련 데이터 크기가 증가함에 따라 Attention Router의 성능은 어떻게 변화하는가?
• RQ4 Attention Router의 솔루션 패턴이 유전적 루터와 얼마나 유사한가? 이는 루팅 가능성 또는 혼잡도 예측자로의 활용 가능성을 의미하는가?
• RQ5 Attention Router의 샘플 효율성은 어떠한가? 문제 크기가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• Attention Router는 유전적 루터 대비 100배 이상의 속도 향상을 달성하면서도 기준선 대비 몇 퍼센트 이내의 품질 손실만을 보였다.
• 훈련 문제 수를 Small500에서 Small5000으로 증가시킴에 따라, 훈련 및 테스트 세트 양쪽에서 Attention Router의 성능이 크게 향상되었다.
• 총 비용(배선 길이) 측면에서 Attention Router와 유전적 루터 간에 강한 양의 상관관계가 관찰되어, 유사한 솔루션 품질 패턴을 공유하고 있음을 시사한다.
• Attention Router는 혼잡도 지역 및 연결되지 않은 인스턴스 위치에서 유전적 루터와 유사한 루팅 패턴을 생성하여, 정밀한 혼잡도 예측자로서의 잠재력을 보여준다.
• 적절한 훈련 이후, 동일한 문제 분포에서의 새로운 문제에 대해 Attention Router는 잘 일반화되며, 강건성과 전이 가능성(transferability)을 입증하였다.
• 기타 루터의 라벨이 필요 없이도, Placement 단계에서 루팅 가능성 및 혼잡도 예측자로써의 잠재력을 보여주었다.