[논문 리뷰] Learning Safe Neural Network Controllers with Barrier Certificates

Hengjun Zhao, Xia Zeng외 3명|arXiv (Cornell University)|2020. 09. 18.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 4

한 줄 요약

이 논문은 비선형 연속 동역학 시스템에 대해 형식적 안전 보장을 갖춘 신경망(NN) 컨트롤러를 합성하기 위한 데이터 기반 프레임워크를 제안한다. 고유한 손실 함수를 사용해 컨트롤러-NN과 바리에이션-NN을 동시에 학습함으로써, 바리에이션 증명서 인증을 통해 안전성을 보장하는 검증-내재 학습 검증을 가능하게 하며, 벤치마크 제어 시스템에서의 실험을 통해 타당성과 효용성을 확인한다.

ABSTRACT

We provide a novel approach to synthesize controllers for nonlinear continuous dynamical systems with control against safety properties. The controllers are based on neural networks (NNs). To certify the safety property we utilize barrier functions, which are represented by NNs as well. We train the controller-NN and barrier-NN simultaneously, achieving a verification-in-the-loop synthesis. We provide a prototype tool nncontroller with a number of case studies. The experiment results confirm the feasibility and efficacy of our approach.

연구 동기 및 목표

• 깊은 제어 이론 전문 지식이 없이도 비선형 연속 동역학 시스템에 대해 안전하고, 정의에 따라 설계된 컨트롤러를 설계하는 데 도전하는 것.
• 통합된 검증을 통해 안전성 특성을 내재적으로 만족하는 데이터 기반 신경망 컨트롤러 합성 가능하게 하는 것.
• 신경망을 활용해 컨트롤러와 바리에이션 함수 표현을 동시에 최적화하여 형식적 안전성 증명을 보장하는 것.
• 수동으로 바리에이션 함수를 구성하는 데 의존도를 줄이고, 데이터로부터 종단 간 학습을 통해 바리에이션 함수를 학습하는 것.
• 확장 가능한 합성 및 검증을 위한 프로토타입 도구 nncontroller 개발

제안 방법

• 도메인 특화 손실 함수를 사용한 공동 최적화 프레임워크를 통해 컨트롤러-NN과 바리에이션-NN을 동시에 학습하는 것.
• 유니버설 근사 성질을 활용하고, 간격 SMT 솔버를 통한 형식적 검증이 가능하도록 바리에이션 함수를 신경망으로 표현하는 것.
• 안전성 제약 조건, 안정성 목표, 제어 입력의 범위 제약(예: Hardtanh 활성화 함수를 통한)을 포함하는 고유한 손실 함수 설계.
• 안전 영역 및 비안전 영역를 포함한 시스템 궤적과 상태공간 영역의 샘플링을 통해 학습 데이터셋 생성.
• 간격 산술과 SMT 기반 추론을 활용해 학습된 바리에이션-NN의 형식적 검증을 통합하여 증명서 역할을 검증하는 것.
• 학습 수렴성과 강건성을 향상시키기 위해 자가 적응형 학습률 스케줄링 및 재시작 메커니즘 적용.

실험 결과

연구 질문

• RQ1 형식적 검증을 통해 안전성을 보장하면서도 데이터 기반 방식으로 신경망 컨트롤러를 합성할 수 있는가?
• RQ2 바리에이션 함수를 신경망으로 학습시켜 컨트롤러 안전성의 증명서로 활용할 수 있는가?
• RQ3 안전성 및 안정성 목표를 동시에 충족시키는 컨트롤러 및 바리에이션 네트워크의 효과적인 공동 학습을 가능하게 하는 손실 함수 설계는 무엇인가?
• RQ4 기존의 합성 후 검증 방식에 비해 컨트롤러와 바리에이션 NN의 공동 합성 방식이 안전성 및 효율성 측면에서 뛰어나게 되는가?
• RQ5 복잡한 안전 제약 조건을 가진 비선형 동역학 시스템에 대해 이 접근 방식은 얼마나 확장 가능한가?

주요 결과

• 제안된 프레임워크는 자전거 모델과 이중 적분기 시스템을 포함한 여러 사례 연구에서 안전성 특성을 만족하는 신경망 컨트롤러를 성공적으로 합성하였다.
• 검증-내재 학습 합성 방식을 구현하여, 간격 SMT 솔버를 활용해 바리에이션-NN이 유효한 증명서로 확인된 바를 확인하였다.
• 5회 반복 평균 학습 시간은 각 사례당 26.35~891.24초이며, 검증 비용은 4.71~1344.50초로, 중간 정도의 계산 오버헤드를 보였다.
• 안정성 인식 손실 함수와 제한된 활성화 함수(Hardtanh)의 사용으로 컨트롤러 성능과 수렴성이 향상되었으며, 학습된 정책의 불안정성이 감소하였다.
• 랜덤 초기화에 대해 강건성을 보였으며, 여러 사례에서 실패한 학습 런을 재시작 메커니즘이 성공적으로 복구하였다.
• 프로토타입 도구 nncontroller는 최대 6개의 상태 변수를 가진 시스템을 성공적으로 처리했으며, 모든 테스트 사례에서 바리에이션 증명서의 형식적 검증을 달성하였다.