[논문 리뷰] Circuit Routing Using Monte Carlo Tree Search and Deep Neural Networks

Youbiao He, Forrest Sheng Bao|arXiv (Cornell University)|2020. 06. 24.

VLSI and FPGA Design Techniques참고 문헌 29인용 수 11

한 줄 요약

이 논문은 깊이 신경망(DNN)에 의해 안내되는 몬테카를로 트리 탐색(MCTS)을 사용하여 순차적 결정 문제로 간주되는 종단간 회로 루팅 접근법을 제안한다. DNN에 기반한 깊이 우선 탐색(DFS) 롤아웃과 최대 보상 기반의 UCT 선택을 조합함으로써, 기존의 순수 MCTS나 기준 알고리즘보다 더 높은 성공률과 더 낮은 와이어 중복을 달성하였으며, 복잡한 단일층 회로에 대해서도 이전에 해결되지 않았던 문제들에 대해서도 성능을 발휘한다.

ABSTRACT

Circuit routing is a fundamental problem in designing electronic systems such as integrated circuits (ICs) and printed circuit boards (PCBs) which form the hardware of electronics and computers. Like finding paths between pairs of locations, circuit routing generates traces of wires to connect contacts or leads of circuit components. It is challenging because finding paths between dense and massive electronic components involves a very large search space. Existing solutions are either manually designed with domain knowledge or tailored to specific design rules, hence, difficult to adapt to new problems or design needs. Therefore, a general routing approach is highly desired. In this paper, we model the circuit routing as a sequential decision-making problem, and solve it by Monte Carlo tree search (MCTS) with deep neural network (DNN) guided rollout. It could be easily extended to routing cases with more routing constraints and optimization goals. Experiments on randomly generated single-layer circuits show the potential to route complex circuits. The proposed approach can solve the problems that benchmark methods such as sequential A* method and Lee's algorithm cannot solve, and can also outperform the vanilla MCTS approach.

연구 동기 및 목표

• 설계 규칙의 변화에 따라 적응하거나 유지하기 어려운 수작업으로 만든 히ュ리스틱 기반 루팅 알고리즘의 한계를 해결하기 위해.
• 도메인 특화 히ュ리스틱이나 수동 튜닝에 의존하지 않는 일반적인 루팅 프레임워크를 개발하기 위해.
• 루팅된 회로에 대한 훈련을 통해 루팅 전략을 자동으로 학습시켜 전문 지식에 대한 의존도를 줄이기 위해.
• 딥 강화학습으로 향상된 MCTS를 통해 대규모 루팅 문제에서 탐색 효율성과 해의 품질을 향상시키기 위해.
• 핵심 코드를 변경하지 않고도 설계 제약 조건과 최적화 목표를 보상 함수 변경을 통해 유연하게 수정할 수 있는 확장 가능한 루팅 시스템을 만들기 위해.

제안 방법

• 각 행동이 격자 그래프에 정점 또는 간선을 추가하는 방식으로, 고에의 수석 놓기와 유사하게, 회로 루팅을 순차적 결정 과정으로 모델링한다.
• 루팅 성공 가능성이 높은 노드를 우선순위로 정하기 위해 최대 보상 기반의 트리에 대한 상한 신뢰도(Upper Confidence Bound)를 사용한 Max-UCT를 사용한 몬테카를로 트리 탐색(MCTS)을 시행한다.
• 고성능 루팅 행동을 예측하기 위해 합성곱 신경망(CNN)을 사용하여 롤아웃 정책을 안내하고 탐색 공간을 줄인다.
• DNN 기반 행동 예측과 깊이 우선 탐색(DFS)을 롤아웃 정책으로 조합하여 시뮬레이션 중에 유망한 경로를 효율적으로 탐색한다.
• 성공 루팅과 실패 루팅을 구분하는 보상 함수를 도입하여 알고리즘이 두 결과 모두로부터 학습할 수 있도록 한다.
• 다른 루팅 작업 간에 탐색 지식을 보존하고 재사용하지만, 현재 구현에서는 상태 간 지식 전이를 지원하지는 않는다.

실험 결과

연구 질문

• RQ1 수작업으로 만든 히ュ리스틱에 의존하지 않고도 깊이 신경망이 복잡한 회로 루팅 문제를 해결하는 데 MCTS를 효과적으로 안내할 수 있는가?
• RQ2 평균 보상 기반 UCT 대비 최대 보상 기반 UCT 선택이 루팅 성공률과 해의 품질을 향상시키는가?
• RQ3 제안된 MCTS-DNN 프레임워크는 A*나 Lee의 알고리즘과 같은 표준 알고리즘이 해결하지 못하는 회로를 루팅할 수 있는가?
• RQ4 DNN에 기반한 롤아웃 통합이 탐색 효율성과 와이어 길이 최적화에 어떤 영향을 미치는가?
• RQ5 아키텍처 변경 없이도 다층 설계나 다른 루팅 제약 조건에 대해 이 프레임워크를 얼마나 넓게 확장할 수 있는가?

주요 결과

• DNN에 기반한 롤아웃을 사용한 제안된 MCTS는 1,000회 반복 후에 복잡한 단일층 회로에서 100%의 성공률을 기록하였으며, 기존 기준 방법들이 완전히 실패한 것과 대비된다.
• 5,000회 반복 시, 이 방법은 와이어 중복 비율을 4.5%로 줄였고, 평균 보상 기반 UCT를 사용한 순수 MCTS의 평균 76.7%보다 크게 낮췄다.
• Max-UCT 버전은 반복 횟수가 증가함에 따라 와이어 중복 비율이 단조 감소하는 경향을 보였지만, Avg-UCT 버전은 그렇지 않았으며, 이는 더 나은 수렴성과 최적화 성능을 의미한다.
• DNN-DFS 롤아웃 정책은 500회 반복 시 평균 93.33%의 성공률, 1,000회 반복 시 100%의 성공률을 기록하여 뛰어난 확장성과 안내 품질을 입증했다.
• 이 방법은 순차적 A*와 Lee의 알고리즘으로는 해결되지 않았던 회로를 성공적으로 루팅하여 어려운 사례에 대한 능력을 입증했다.
• 이 프레임워크는 매우 뛰어난 유연성을 지녔다: 설계 규칙나 최적화 목표를 변경하려면 보상 함수만 수정하면 되며, 알고리즘이나 코드베이스는 변경이 필요 없다.