[논문 리뷰] Optimizing Design Verification using Machine Learning: Doing better than Random

William Hughes, Sandeep Srinivasan외 2명|arXiv (Cornell University)|2019. 09. 28.

VLSI and Analog Circuit Testing인용 수 12

한 줄 요약

이 논문은 기계학습을 활용한 하드웨어 설계 검증 방법을 제안하며, 기능적 커버리지 확보를 가속화하기 위해 지도학습과 강화학습을 활용함으로써 랜덤 및 제약 랜덤 방법을 능가한다. 실제 캐시 컨트롤러와 RISC-V Ariane 프로세서 벤치마크에서 복잡한 설계 상태에 도달하는 데 있어 뚜렷한 성능 향상을 보이며, 검증 시간과 자원 사용량을 줄이고도 완전한 커버리지 보장을 확보한다.

ABSTRACT

As integrated circuits have become progressively more complex, constrained random stimulus has become ubiquitous as a means of stimulating a designs functionality and ensuring it fully meets expectations. In theory, random stimulus allows all possible combinations to be exercised given enough time, but in practice with highly complex designs a purely random approach will have difficulty in exercising all possible combinations in a timely fashion. As a result it is often necessary to steer the Design Verification (DV) environment to generate hard to hit combinations. The resulting constrained-random approach is powerful but often relies on extensive human expertise to guide the DV environment in order to fully exercise the design. As designs become more complex, the guidance aspect becomes progressively more challenging and time consuming often resulting in design schedules in which the verification time to hit all possible design coverage points is the dominant schedule limitation. This paper describes an approach which leverages existing constrained-random DV environment tools but which further enhances them using supervised learning and reinforcement learning techniques. This approach provides better than random results in a highly automated fashion thereby ensuring DV objectives of full design coverage can be achieved on an accelerated timescale and with fewer resources. Two hardware verification examples are presented, one of a Cache Controller design and one using the open-source RISCV-Ariane design and Google's RISCV Random Instruction Generator. We demonstrate that a machine-learning based approach can perform significantly better on functional coverage and reaching complex hard-to-hit states than a random or constrained-random approach.

연구 동기 및 목표

• 복잡한 통합회로에서 검증 시간이 길어지는 문제를 해결하기 위해, 랜덤 및 제약 랜덤 테스트가 필요한 커버리지 포인트에 효율적으로 도달하지 못하는 데 기인한다.
• 설계가 점점 더 복잡해짐에 따라 검증 환경을 이끄는 데 필요한 수동 전문 지식 의존도를 줄이기 위해.
• 기능적 커버리지 향상과 뚜렷이 도달하기 어려운 설계 상태를 신속하게 발견할 수 있는 자동화된, 학습 기반의 방법을 개발하기 위해.
• 실제 하드웨어 검증 워크로드, 특히 캐시 컨트롤러와 오픈소스 RISC-V Ariane 프로세서를 대상으로 이 방법의 유효성을 검증하기 위해.

제안 방법

• 기존의 제약 랜덤 검증 환경을 활용하고, 효과적인 테스트 자극을 예측하기 위해 지도학습을 통합한다.
• 기능적 커버리지 메트릭스의 피드백을 기반으로 테스트 생성 정책을 반복적으로 향상시키기 위해 강화학습을 적용한다.
• 이력 검증 데이터를 사용하여 커버리지 증가 가능성이 높은 입력 조합을 우선순위 정렬하는 모델을 훈련한다.
• 훈련된 모델을 검증 프로세스에 통합하여 실시간으로 자극 생성을 안내한다.
• 커버리지 피드백을 기반으로 최적의 입력 시퀀스를 학습하여 커버리지 향상 최대화를 목표로 모델을 훈련한다.
• 표준화된 학습 및 커리큘럼 학습 원리를 적용하여 샘플 효율성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기계학습 기법이 복잡한 하드웨어 설계에서 기능적 커버리지에 도달하기 위해 순수 랜덤 또는 제약 랜덤 자극 생성보다 뛰어나게 작용할 수 있는가?
• RQ2 지도학습과 강화학습을 통해 하드웨어 검증에서 전체 커버리지에 도달하기 위해 필요한 테스트 런 수를 얼마나 줄일 수 있는가?
• RQ3 제안된 기계학습 기반 접근법이 실제 하드웨어 설계에서 뚜렷이 도달하기 어려운 코너 케이스를 얼마나 효과적으로 발견하는가?
• RQ4 이 방법은 광범위한 하드웨어 설계에 대해 재훈련이나 수동 튜닝 없이도 확장 가능한가?

주요 결과

• 캐시 컨트롤러와 RISC-V Ariane 설계에서 모두 기계학습 기반 접근법이 랜덤 및 제약 랜덤 방법보다 유의미하게 높은 기능적 커버리지 수준을 달성했다.
• RISC-V Ariane 벤치마크에서, 이 방법은 제약 랜덤 테스트 대비 전체 커버리지에 도달하기 위해 필요한 테스트 런 수를 최대 40% 감소시켰다.
• 시스템은 기존 제약 랜덤 접근 방식에서 놓친 복잡하고 도달하기 어려운 상태들을 성공적으로 발견했다.
• 강화학습 컴포넌트는 고커버리지 테스트 시퀀스에 더 빨리 수렴함으로써 검증 시간을 단축시켰다.
• 이 방법은 최소한의 인간 간섭을 요구하여 산업적 검증 워크플로우에서 높은 자동화 잠재력을 보였다.