[논문 리뷰] A Deep Reinforcement Learning Approach for Global Routing

Haiguang Liao, Wentai Zhang외 4명|arXiv (Cornell University)|2019. 06. 20.

VLSI and FPGA Design Techniques참고 문헌 31인용 수 9

한 줄 요약

이 논문은 통합 회로 설계의 글로벌 라우팅 문제를 해결하기 위해 딥 Q네트워크(DQN)를 사용하는 딥 강화학습(DRL) 접근법을 제안한다. 이 방법은 다수의 넷을 동시에 공동 최적화할 수 있도록 하며, 시험된 케이스의 80%에서 순차적 A* 라우팅을 능가한다. 결과적으로 오버플로우가 없고 와이어 길이가 더 우수하며, 확장 가능한 훈련과 평가를 위한 파라미터화된 문제 생성기를 도입한다.

ABSTRACT

Global routing has been a historically challenging problem in electronic circuit design, where the challenge is to connect a large and arbitrary number of circuit components with wires without violating the design rules for the printed circuit boards or integrated circuits. Similar routing problems also exist in the design of complex hydraulic systems, pipe systems and logistic networks. Existing solutions typically consist of greedy algorithms and hard-coded heuristics. As such, existing approaches suffer from a lack of model flexibility and non-optimum solutions. As an alternative approach, this work presents a deep reinforcement learning method for solving the global routing problem in a simulated environment. At the heart of the proposed method is deep reinforcement learning that enables an agent to produce an optimal policy for routing based on the variety of problems it is presented with leveraging the conjoint optimization mechanism of deep reinforcement learning. Conjoint optimization mechanism is explained and demonstrated in details; the best network structure and the parameters of the learned model are explored. Based on the fine-tuned model, routing solutions and rewards are presented and analyzed. The results indicate that the approach can outperform the benchmark method of a sequential A* method, suggesting a promising potential for deep reinforcement learning for global routing and other routing or path planning problems in general. Another major contribution of this work is the development of a global routing problem sets generator with the ability to generate parameterized global routing problem sets with different size and constraints, enabling evaluation of different routing algorithms and the generation of training datasets for future data-driven routing approaches.

연구 동기 및 목표

• 글로벌 라우팅 문제는 NP-완전이며, 기존에 히ュ리스틱이고 탐욕적인 방법으로 해결되어 왔지만, 이는 유연성과 최적성에 결함이 있다. 이 논문은 IC 설계에서 오랫동안 지속된 이 문제를 해결하고자 한다.
• 딥 강화학습이 다수의 넷을 동시에 최적화할 수 있는지 탐색함으로써 순차적 라우팅의 한계를 피하고 해법의 품질을 향상시킬 수 있는지 검토한다.
• 데이터 기반 라우팅 알고리즘의 훈련, 평가, 벤치마킹을 지원하기 위해 확장 가능한 파라미터화된 글로벌 라우팅 문제 생성기를 개발한다.
• DQN의 하이퍼파rameter와 네트워크 아키텍처를 정밀하게 튜닝하여 글로벌 라우팅 작업에서 최고의 성능을 내도록 한다.
• 동일한 제약 조건 하에서 기존의 A* 라우팅 대비 DRL이 더 나은 라우팅 해법을 도출할 수 있음을 입증한다.

제안 방법

• 글로벌 라우팅을 이산 상태(라우팅 격자 구성)와 행동(와이어 배치 결정)으로 구성된 마르코프 결정 과정(MDP)으로 공식화한다.
• 현재 상태에 기반해 라우팅 행동을 선택하는 최적의 정책을 학습하기 위해 딥 Q네트워크(DQN)를 사용한다. 성공 및 실패한 라우팅 시도로부터의 보상을 통합한다.
• 순차적으로 넷을 라우팅하는 대신, 에이전트가 동시에 모든 넷과 핀을 고려하는 공동 최적화 메커니즘을 적용한다.
• 경험 재생과 타겟 네트워크를 적용하여 훈련의 안정성과 Q-값 함수 학습 시 과도한 추정을 줄인다.
• 초기 정책 학습 향상과 수렴 속도 향상을 위해 A*-기반 라우팅 데이터를 사용해 메모리 버닝 인을 구현한다.
• 훈련 및 평가를 위한 가변적인 격자 크기, 넷 수, 혼잡도 제약 조건을 갖춘 파라미터화된 문제 세트를 생성할 수 있는 글로벌 라우팅 문제 생성기를 개발한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 다수의 넷을 동시에 최적화함으로써 순차적 A* 라우팅보다 글로벌 라우팅을 더 효과적으로 수행할 수 있는가?
• RQ2 DQN의 공동 최적화 메커니즘이 순차적 넷 단위 라우팅 대비 라우팅 성능을 어떻게 향상시키는가?
• RQ3 학습률, 이psilon, 배치 크기 등과 같은 하이퍼파ram터와 네트워크 구조 중 어떤 조합이 DRL 기반 라우팅 프레임워크에서 최고의 성능을 낼 수 있는가?
• RQ4 재학습 없이도 한 개의 정밀하게 튜닝된 DQN 모델이 더 큰 규모의 라우팅 문제에 일반화될 수 있는가?
• RQ5 A*-기반 경험 데이터를 사용한 메모리 버닝 인이 DQN 훈련 속도와 해법 품질을 얼마나 향상시키는가?

주요 결과

• DQN 기반 라우터는 테스트된 Type II 문제의 80%에서 A* 라우터를 능가하여 실제 라우팅 시나리오에서 뛰어난 해법 품질을 입증했다.
• 모든 DQN 해법에서 엣지 오버플로우(OF)가 0이었고, A* 해법은 때로 양의 OF를 보이며 제약 조건 준수 능력이 떨어지는 것으로 나타났다.
• 대부분의 케이스에서 DQN 모델은 A*보다 더 낮은 총 와이어 길이(WL)를 달성했으며, 특히 고혼잡도 환경에서 뚜렷한 향상이 관찰되었다.
• 재학습 없이도 $16\times16\times2$ 격자 크기로 확장된 문제에 효과적으로 일반화되었으며, 다양한 스케일에서 높은 성능를 유지했다.
• A*-기반 데이터를 사용한 메모리 버닝 인이 성능 향상에 기여했으며, 무작위 버닝 인보다 우수한 선택이었지만, 학습 속도 향상에는 유의미한 영향을 주지 못했다.
• 제안된 문제 생성기는 다양한 라우팅 문제 세트를 신속하고 확장 가능하게 생성할 수 있어, 향후 데이터 기반 라우팅 연구와 벤치마킹을 지원한다.