[논문 리뷰] ReachNN: Reachability Analysis of Neural-Network Controlled Systems

Chao Huang, Jiameng Fan외 3명|arXiv (Cornell University)|2019. 06. 25.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 27

한 줄 요약

ReachNN는 일반적인 활성화 함수를 다룰 수 있도록 베르슈타이너 다항식 근사를 사용하는 신경망 제어 시스템을 위한 타당성 분석 프레임워크를 제안한다. 이는 리프시츠 연속성과 오차 한계 추정을 기반으로 하며, Flow*를 활용해 도달 가능한 집합을 과대추정함으로써 이전 방법보다 정확도를 향상시킨다. 특히 이질적인 네트워크와 고리프시츠 연속성 제어기의 경우 재학습을 통해 성능 향상을 이룬다.

ABSTRACT

Applying neural networks as controllers in dynamical systems has shown great promises. However, it is critical yet challenging to verify the safety of such control systems with neural-network controllers in the loop. Previous methods for verifying neural network controlled systems are limited to a few specific activation functions. In this work, we propose a new reachability analysis approach based on Bernstein polynomials that can verify neural-network controlled systems with a more general form of activation functions, i.e., as long as they ensure that the neural networks are Lipschitz continuous. Specifically, we consider abstracting feedforward neural networks with Bernstein polynomials for a small subset of inputs. To quantify the error introduced by abstraction, we provide both theoretical error bound estimation based on the theory of Bernstein polynomials and more practical sampling based error bound estimation, following a tight Lipschitz constant estimation approach based on forward reachability analysis. Compared with previous methods, our approach addresses a much broader set of neural networks, including heterogeneous neural networks that contain multiple types of activation functions. Experiment results on a variety of benchmarks show the effectiveness of our approach.

연구 동기 및 목표

• 기존의 타당성 분석 방법이 복잡한 비선형 제어기 매핑으로 인해 실패하는 신경망 제어 시스템(NNCS)의 안전성 검증 문제를 해결하는 것.
• 기존의 ReLU 전용 네트워크에 국한된 검증 기법을 일반적인 활성화 함수로 확장하며, 네트워크가 리프시츠 연속성을 만족할 경우를 대상으로 한다.
• 타당성 분석에 활용 가능한 신경망 제어기의 입력-출력 행동에 대한 실현 가능한 고차수 집합 추상화를 개발하는 것.
• 리프시츠 상수 분석에 기반한 이론적 및 샘플링 기반 추정을 통해 다항식 근사의 엄밀한 오차 한계를 산정하는 것.
• 재학습을 통한 리프시츠 상수 감소를 통해 플로우파이프 계산에서의 과대추정 품질을 향상시켜 고리프시츠 연속성 제어기의 정확도를 높이는 것.

제안 방법

• 사용자 정의된 차수 한계를 갖는 유한한 입력 집합 위에서 신경망 제어기의 입력-출력 매핑을 베르슈타이너 다항식으로 근사한다.
• 근사 오차를 두 가지 기법으로 추정한다: 베르슈타이너 다항식 이론에 기반한 사전 이론적 한계와 사후 샘플링 기반 한계.
• 전방 타당성 분석을 활용해 신경망의 엄밀한 리프시츠 상수 추정치를 도출하며, 이는 오차 및 재학습 전략에 기여한다.
• 손실 함수에 리프시츠 정규화 항을 포함한 재학습 절차를 적용하여 네트워크의 리프시츠 상수를 감소시켜 근사 품질을 향상시킨다.
• 다항식 근사를 Flow* 도구에 통합하여 전체 NNCS의 과대추정 플로우파이프를 계산하고 반복적 타당성 분석을 가능하게 한다.
• 결과로 도출된 다항식 모델을 도메인 내 모든 입력에 대해 제어기 출력을 과대추정하는 고차수 집합 추상화로 활용한다.

실험 결과

연구 질문

• RQ1 일반적인 신경망 제어기의 다양한 활성화 함수를 고려할 때, 베르슈타이너 다항식 근사는 입력-출력 행동을 효과적으로 추상화할 수 있는가?
• RQ2 특히 네트워크가 리프시츠 연속성을 만족할 경우, 신경망의 다항식 근사에 대해 엄밀한 오차 한계를 어떻게 추정할 수 있는가?
• RQ3 신경망의 리프시츠 상수를 감소시키는 것이 다항식 근사를 통한 타당성 분석 정확도에 어느 정도 향상 효과를 미치는가?
• RQ4 제안된 방법은 이질적인 신경망(여러 종류의 활성화 함수를 포함)을 다룰 수 있는가? 이는 이전의 ReLU 중심 접근 방식의 범위를 초월하는가?
• RQ5 기준 테스트 기반으로 볼 때, ReachNN의 과대추정 정확도와 계산 가능성은 기존 방법과 비교해 어떻게 다른가?

주요 결과

• ReachNN는 일반적인 활성화 함수, 특히 이질적인 네트워크를 포함한 신경망 제어 시스템에 대해 베르슈타이너 다항식 근사를 사용하여 타당성 분석을 성공적으로 수행한다.
• 재학습을 통한 리프시츠 상수 감소와 결합된 경우, 이전 방법보다 더 엄밀한 도달 가능한 집합의 과대추정을 달성한다.
• 카트 위의 역진자 시스템에서 리프시츠 상수가 감소된 재학습된 네트워크(14.7에서 감소)는 다항식 근사가 제어기 행동을 더 정확하게 추적할 수 있었으며, 과대추정 정확도가 향상되었다.
• 샘플링 기반 오차 한계 추정은 고차원 입력 공간에서 이론적 한계의 실용적이고 효과적인 대안을 제공하였다.
• 이론적으로는 보편적이지만, 차원 증가에 따라 다항식 차수의 지수적 증가로 인해 고차원 입력 공간에서 확장성 문제에 직면한다.
• 리프시츠 정규화를 통한 재학습 전략은 성능을 유지하면서도 리프시츠 상수를 감소시켜, 향상된 검증 정확도를 위한 실현 가능한 길을 제시하였다.