[논문 리뷰] Verification of Neural-Network Control Systems by Integrating Taylor Models and Zonotopes

Christian Schilling, Marcelo Forets외 1명|arXiv (Cornell University)|2021. 12. 16.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 미분방정식(ODE) 분석에 사용되는 타일러 모델과 신경망 분석에 사용되는 조노토프를 통합하여 신경망 제어 시스템(NNCS)을 위한 새로운 도달 가능성 알고리즘을 제안한다. 이는 제어 주기 간의 종속성을 유지하기 위해 구조적 조노토프와 점진적 타일러 모델 업데이트를 활용한다. 이 방법은 최신 기술 수준의 정밀도와 확장성을 달성하여, ARCH-COMP 2021 경쟁 대회에서 제공한 모든 벤치마크 문제를 처음으로 성공적으로 검증한다.

ABSTRACT

We study the verification problem for closed-loop dynamical systems with neural-network controllers (NNCS). This problem is commonly reduced to computing the set of reachable states. When considering dynamical systems and neural networks in isolation, there exist precise approaches for that task based on set representations respectively called Taylor models and zonotopes. However, the combination of these approaches to NNCS is non-trivial because, when converting between the set representations, dependency information gets lost in each control cycle and the accumulated approximation error quickly renders the result useless. We present an algorithm to chain approaches based on Taylor models and zonotopes, yielding a precise reachability algorithm for NNCS. Because the algorithm only acts at the interface of the isolated approaches, it is applicable to general dynamical systems and neural networks and can benefit from future advances in these areas. Our implementation delivers state-of-the-art performance and is the first to successfully analyze all benchmark problems of an annual reachability competition for NNCS.

연구 동기 및 목표

• 신경망 제어 시스템(NNCS)의 도달 가능성 분석에서 ODE와 신경망 분석 도구 간의 인터페이스 변환 과정에서 발생하는 종속성 손실로 인한 과잉 보수성 문제를 해결한다.
• ODE 분석에 사용되는 타일러 모델과 신경망 분석에 사용되는 조노토프 간의 신뢰할 수 있는 변환 메커니즘을 개발하여 제어 주기 간의 구조적 종속성을 유지한다.
• 기존의 블랙박스 도달 가능성 도구(ODE 및 신경망용)와 함께 작동하는 모듈러형, 인터페이스 수준의 알고리즘을 설계하여 내부 구현에 대한 액세스가 필요 없도록 한다.
• 다중 출력 차원을 가진 벤치마크에 대해 이전 도구가 실패하거나 발산하는 상황에서도 정밀하고 확장 가능한 NNCS 검증을 가능하게 한다.
• 복잡한 동역학과 ReLU 활성화를 가진 신경망을 포함한 실제 제어 시스템 벤치마크에서 방법의 효과성을 입증한다.

제안 방법

• 타일러 모델로의 정확한 변환을 가능하게 하기 위해 나머지 항에 구조를 포함하는 '구조적 조노토프'를 도입한다.
• 전체 모델을 다시 계산하는 대신 제어 입력 항만 업데이트하여 제어 주기 간 타일러 모델의 종속성 정보를 유지한다.
• 이중 단계 인터페이스를 적용한다: 조노토프 기반 신경망 분석기의 출력을 구조적 조노토프로 변환한 후, 이를 타일러 모델로 변환하여 ODE 통합에 사용한다.
• ODE 도달 가능성 도구(타일러 모델 기반)를 사용해 상태를 앞으로 전파한 후, 결과 타일러 모델을 다시 구조적 조노토프로 변환하여 다음 신경망 단계에 사용한다.
• 기본 변환 메커니즘을 변경하지 않고도 정밀도를 향상시키기 위해 초기 집합의 분할 전략을 활용한다.
• 모든 변환 단계에서 과대근사가 유지되도록 보장하여 타당성을 확보하고, 종속성 유지 전환을 통해 래핑 효과를 방지한다.

실험 결과

연구 질문

• RQ1 조노토프와 타일러 모델 표현 간의 변환 과정에서 손실된 종속성 정보가 신경망 제어 시스템에서 효과적으로 유지될 수 있는가?
• RQ2 구조적 조노토프와 점진적 업데이트를 통해 타일러 모델과 조노토프를 통합하면 기존의 블랙박스 체이닝 접근 방식보다 더 정밀하고 확장 가능한 도달 가능성 분석이 가능한가?
• RQ3 제안된 방법이 이전 도구가 실패하는 다중 출력 신경망을 포함한 ARCH-COMP 2021 경쟁 대회의 모든 벤치마크 문제를 검증할 수 있는가?
• RQ4 고차원 또는 복잡한 제어 시스템에서 제안된 방법의 정밀도와 성능이 Sherlock 및 NNV와 비교해 어떻게 되는가?
• RQ5 초기 집합 분할 전략을 통해 방법이 얼마나 유익한가, 동시에 타당성과 확장성은 유지되는가?

주요 결과

• 제안된 방법은 ARCH-COMP 2021 경쟁 대회의 모든 벤치마크 문제를 성공적으로 검증하였으며, 이전 도구인 Sherlock이 발산하여 분석에 실패한 더블 펜듈럼 및 비행기 모델까지 포함한다.
• 적응형 크루즈 컨트롤 및 TORA 문제에서는 입력 집합 분할이 필요 없더라도 Sherlock과 유사하거나 더 높은 정밀도를 달성하면서도 더 빠른 성능을 보였다.
• 싱글 펜듈럼 문제에서는 Sherlock보다 더 정밀한 과대근사를 생성하여 종속성 유지 능력이 뛰어남을 입증하였다.
• 다중 제어 출력을 가진 시스템에서도 방법은 안정적이고 수렴 가능했으며, Sherlock이 몇 차례 제어 주기 후에 발산하는 것과 대비하여 고차원 출력에 대한 강건성을 입증하였다.
• 초기 집합 분할은 정밀도를 향상시키지만, 대부분의 벤치마크에서 분할 없이도 충분한 정밀도를 달성하여 내재된 뛰어난 정밀도를 보였다.
• 이 방법은 제어 주기 간 종속성을 유지하는 방식으로 타일러 모델과 조노토프를 처음으로 통합하여 NNCS에 대해 타당하고 확장 가능한 도달 가능성 분석을 가능하게 하였다.