[논문 리뷰] Gray-box Adversarial Testing for Control Systems with Machine Learning Component

Shakiba Yaghoubi, Georgios Fainekos|arXiv (Cornell University)|2018. 12. 31.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 5

한 줄 요약

이 논문은 경량화된 기반 최적 제어 탐색을 이용한 순환 신경망(RNN) 제어기를 갖는 제어 시스템에 대한 회색 상자 적대적 테스팅 프레임워크를 제안한다. 운영점에서의 시스템 선형화를 활용하여 입력 공간을 효율적으로 탐색함으로써, 시스템 수준의 신호 시간 논리(STL) 성질을 위반하는 적대적 입력을 생성한다. 이는 균일한 랜덤 샘플링 및 시뮬레이티드 어닐링과 같은 블랙박스 방법보다 상당히 뛰어난 성능을 보인다.

ABSTRACT

Neural Networks (NN) have been proposed in the past as an effective means for both modeling and control of systems with very complex dynamics. However, despite the extensive research, NN-based controllers have not been adopted by the industry for safety critical systems. The primary reason is that systems with learning based controllers are notoriously hard to test and verify. Even harder is the analysis of such systems against system-level specifications. In this paper, we provide a gradient based method for searching the input space of a closed-loop control system in order to find adversarial samples against some system-level requirements. Our experimental results show that combined with randomized search, our method outperforms Simulated Annealing optimization.

연구 동기 및 목표

• 신경망 구성 요소를 포함한 안전 기반 제어 시스템의 테스팅 및 검증에 도전하는 데 초점을 맞춘다. 특히 복잡하고 비선형적인 동역학을 갖는 제어 시스템에 대해.
• 신호 시간 논리(STL)로 표현된 시스템 수준의 사양을 위반하는 적대적 입력을 생성하기 위한 확장 가능하고 효율적인 방법을 개발한다.
• RNN을 갖는 복잡한 제어 시스템에서 적대적 입력을 발견하지 못하는 경향이 있는 블랙박스 테스팅 방법의 한계를 극복한다.
• 기존에 순차적이고 메모리 의존적인 행동으로 인해 분석이 어려웠던 RNN을 갖는 시스템에 대해 기울기 기반 局부 탐색을 이용해 위반을 검증할 수 있도록 한다.
• 국소 기울기 하강법과 전역 최적화 전략을 통합하여 적대적 테스트 생성의 수렴성과 강건성을 향상시킨다.

제안 방법

• 운영점에서의 피드백 루프 시스템의 분석적 선형화를 사용하여 민감도 행렬이나 수치 근사치가 필요 없이 기울기 하강 방향을 계산한다.
• 적대적 입력 탐색을 최적 제어 문제로 재구성하여, STL 사양에 대한 시스템의 강건성 최소화를 위해 기울기 기반 국소 탐색을 적용한다.
• 입력 공간 내 탐색과 이용의 균형을 이루기 위해 국소 기울기 하강법과 전역 샘플러(예: 균일한 랜덤 샘플링 또는 시뮬레이티드 어닐링)를 결합한다.
• 부드러운 활성화 함수를 갖는 RNN을 포함한 시스템에 적용 가능하며, 블록 단위 선형화를 위한 Simulink 모델의 구조를 활용한다.
• 모델 전체나 네트워크 아키텍처의 전체 지식이 필요 없으며, 표준 모델 기반 설계 도구에서 제공하는 가용한 선형화 데이터에 의존한다.
• 기존 연구를 확장하여 유한한 수의 파rameter로 입력을 매개변수화하지 않고, 무한차원 입력 함수 공간에서 직접 탐색한다.

실험 결과

연구 질문

• RQ1 기울기 기반 국소 탐색은 RNN 제어기를 갖는 제어 시스템의 적대적 테스트 생성 효과성에 기여하는가?
• RQ2 국소 기울기 하강법과 전역 최적화 전략을 통합할 경우, 블랙박스 방법 대비 위반 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 복잡하고 비선형적인 제어 시스템에서 시스템 수준의 STL 사양을 위반하는 적대적 입력을 얼마나 잘 탐지할 수 있는가?
• RQ4 네트워크 깊이와 시스템 상태 차원 증가에 따라 이 방법은 효과적으로 확장되는가?
• RQ5 기존의 블랙박스 테스팅 방법이 실패하는 시스템에서도 이 프레임워크는 성공적으로 위반을 검증할 수 있는가?

주요 결과

• 제안된 방법(Ur+GD 및 SA+GD)은 증기 응축기 사례 연구의 50회 실행 전부에서 적대적 예외를 성공적으로 발견하였고, 순수한 균일한 랜덤 샘플링(UR) 및 시뮬레이티드 어닐링(SA)은 어떤 위반도 발견하지 못했다.
• 최소 강건성 값의 평균은 UR+GD의 경우 -0.0018, SA+GD의 경우 -0.0016로 떨어졌으며, 이는 STL 사양 위반을 의미한다. 반면 UR 및 SA는 각각 0.0843 및 0.0503에 머물렀다.
• 평균 실행 시간은 15.78초(Ur+GD) 및 13.07초(SA+GD)로 감소하였고, 60초 제한 시간 내에 평균 90회 이하의 시뮬레이션을 수행하였다.
• 이 방법은 확장성도 입증되었으며, RNN 및 시스템 모델의 레이어 수와 상태 수가 증가함에도 불구하고 성능을 유지하였다.
• 국소 기울기 하강법과 전역 샘플링의 조합은 단독으로 사용되는 전역 방법보다 상당히 뛰어난 성능을 보였으며, 복잡한 시스템에서 위반 입력을 탐지하는 데 필수적임을 입증하였다.
• 최적 입력을 사용함으로써 시스템 강건성은 일정 입력 상태에서 0.20633에서 0.00030222로 감소하였으며, 이는 효과적인 적대적 입력 생성을 보여준다.