[논문 리뷰] Towards Scalable Verification of Deep Reinforcement Learning

Guy Amir, Michael Schapira외 1명|arXiv (Cornell University)|2021. 05. 25.

Reinforcement Learning in Robotics참고 문헌 46인용 수 8

한 줄 요약

이 논문은 k-인duction와 반복적 불변성 추론을 활용하여 복잡한 안전성 및 라이브니스 성질을 증명하는 확장 가능한 검증 프레임워크인 whiRL 2.0을 소개한다. 이는 딥 강화학습(DRL) 시스템에 대해 실세계 통신 네트워크 시스템에서 효과적으로 검증되었으며, 이전 도구로는 불가능했던 성질을 증명하고 DRL 정책의 근본적인 편향을 드러냈다.

ABSTRACT

Deep neural networks (DNNs) have gained significant popularity in recent years, becoming the state of the art in a variety of domains. In particular, deep reinforcement learning (DRL) has recently been employed to train DNNs that realize control policies for various types of real-world systems. In this work, we present the whiRL 2.0 tool, which implements a new approach for verifying complex properties of interest for DRL systems. To demonstrate the benefits of whiRL 2.0, we apply it to case studies from the communication networks domain that have recently been used to motivate formal verification of DRL systems, and which exhibit characteristics that are conducive for scalable verification. We propose techniques for performing k-induction and semi-automated invariant inference on such systems, and leverage these techniques for proving safety and liveness properties that were previously impossible to verify due to the scalability barriers of prior approaches. Furthermore, we show how our proposed techniques provide insights into the inner workings and the generalizability of DRL systems. whiRL 2.0 is publicly available online.

연구 동기 및 목표

• 기존의 DNN 및 DRL 검증 도구들이 장기적이거나 무한한 실행에 걸쳐 성질을 증명하는 데 실패하는 등 확장성에 한계가 있다는 문제를 해결하기 위해.
• 특히 통신 네트워크에서 실세계 DRL 시스템의 복잡한 안전성 및 라이브니스 성질을 형식적으로 검증할 수 있도록 하기 위해.
• 자동으로 불변성을 발견하고 검증함으로써 DRL 에이전트가 학습한 정책에 대한 통찰을 제공하기 위해.
• 이전의 whiRL 1.0 도구가 반례 생성 기능을 넘어서 의미 있는 시스템 성질에 대한 증명 구축 기능을 포함하도록 능력을 확장하기 위해.
• 형식적 검증이 DRL 정책의 근본적인 결함, 예를 들어 최적화되지 않은 행동을 지속적으로 선택하는 체계적 편향을 드러낼 수 있음을 보여주기 위해.

제안 방법

• 시스템 실행을 펼친 후 k-인duction를 활용해 불변성을 검증함으로써, 다중 단계에 걸친 라이브니스 및 안전성 성질을 증명한다.
• 복잡한 성질의 검증을 단순화하고 가속화하기 위해 반복적 불변성 추론 기법을 도입한다.
• 특히 고차원 입력 및 출력에 대해 상태공간 복잡도를 줄이고 확장성을 향상시키기 위해 추상화 기법을 사용한다.
• 개별 DNN 추론 단계를 검증하기 위해 블랙박스 DNN 검증기(Marabou)를 백엔드로 통합한다.
• 유한 모델 체킹과 반복적 정밀화를 조합하여 DRL 시스템의 순차적 의사결정을 다룬다.
• 입력 분포 전반에 걸쳐 검증 결과를 일반화하기 위해 쿼리 추상화를 활용함으로써 재사용성과 통찰력을 향상시킨다.

실험 결과

연구 질문

• RQ1 k-인duction와 불변성 추론 기법이 딥 강화학습 시스템에서 안전성 및 라이브니스 성질을 효과적으로 검증하는 데 적용될 수 있는가?
• RQ2 제안된 기법들이 이전에는 해결이 어려웠던 실세계 통신 네트워크의 복잡한 DRL 시스템에 대해 확장성 있게 적용될 수 있는가?
• RQ3 형식적 검증이 DRL 에이전트가 학습한 정책에서 구조적 편향이나 결함을 어느 정도 드러낼 수 있는가?
• RQ4 어떻게 추상화와 불변성 추론이 고차원 상태공간과 행동공간을 가진 DRL 시스템에서 검증 부담을 줄일 수 있는가?
• RQ5 검증 과정이 성질 검증을 넘어서 정책의 일반화 및 실패 모드 이해와 같은 통찰을 제공할 수 있는가?

주요 결과

• whiRL 2.0는 이전에 연구된 세 가지 성질을 포함하는 더 강력하고 일반화된 성질을 DeepRM에 대해 성공적으로 증명하여, 복잡한 불변성을 검증할 수 있는 능력을 입증했다.
• 도구는 DeepRM이 자원 활용도에 관계없이 항상 작업 #2를 스케줄링하는 체계적 편향을 드러내었으며, 이는 이전의 반례를 설명하고 성질 2 및 3를 무효화함을 시사한다.
• whiRL 2.0는 성질 2 및 3의 역이 항상 성립한다는 것을 증명하여, 연구된 상황에서 DRL 정책이 본질적으로 최적화되지 않았음을 확인했다.
• 이 프레임워크는 Aurora, Pensieve, DeepRM의 성질 검증을 몇 초 내에 수행하였으며, 이는 이전 도구가 확장성 한계로 인해 정당성 증명을 할 수 없었던 분야이다.
• whiRL 2.0의 추상화 기능은 DRL 시스템의 행동에 대한 통찰을 제공하여 이전에 발견되지 못한 정책 편향을 드러냈다.
• 결과적으로 whiRL 2.0를 통한 형식적 검증은 성질 검증을 넘어서 DRL 정책의 깊은 구조적 결함을 드러내며, 단순한 성질 검증을 넘어서는 것을 입증했다.