[논문 리뷰] Assurance Monitoring of Cyber-Physical Systems with Machine Learning Components

Dimitrios Boursinos, Xenofon Koutsoukos|arXiv (Cornell University)|2020. 01. 14.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 8

한 줄 요약

이 논문은 기계학습 구성 요소를 갖춘 사이버-물리 시스템(CPS)을 위한 확률적 예측 기반 보증 모니터링 프레임워크를 제안한다. 임bedding 기반 비일관성 점수를 사용하여 실시간으로 잘 校정된 신뢰도 추정을 가능하게 하며, 최소한의 경고로 제한된 오류율을 확보한다. 이 방법은 교통 표지 및 로봇 주행 데이터셋에서 계산 효율성과 강한 校정 능력을 입증한다.

ABSTRACT

Machine learning components such as deep neural networks are used extensively in Cyber-Physical Systems (CPS). However, they may introduce new types of hazards that can have disastrous consequences and need to be addressed for engineering trustworthy systems. Although deep neural networks offer advanced capabilities, they must be complemented by engineering methods and practices that allow effective integration in CPS. In this paper, we investigate how to use the conformal prediction framework for assurance monitoring of CPS with machine learning components. In order to handle high-dimensional inputs in real-time, we compute nonconformity scores using embedding representations of the learned models. By leveraging conformal prediction, the approach provides well-calibrated confidence and can allow monitoring that ensures a bounded small error rate while limiting the number of inputs for which an accurate prediction cannot be made. Empirical evaluation results using the German Traffic Sign Recognition Benchmark and a robot navigation dataset demonstrate that the error rates are well-calibrated while the number of alarms is small. The method is computationally efficient, and therefore, the approach is promising for assurance monitoring of CPS.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 기계학습 구성 요소가 포함된 사이버-물리 시스템(CPS)에서 신뢰성 확보의 과제를 해결하기 위해.
• 기계학습 예측에 대해 잘 校정된 신뢰도 추정을 제공하는 실시간 보증 모니터링 프레임워크를 개발하기 위해.
• 모델의 오류율을 제한하면서도 인간 간섭이 필요한 입력 수를 최소화함으로써 경고 수를 줄이기 위해.
• 학습된 임bedding 표현을 활용하여 고차원 입력 공간에서의 효율적 구현을 가능하게 하기 위해.
• 실제 사이버-물리 시스템 벤치마크, 특히 교통 표지 인식 및 로봇 주행을 포함한 실제 응용 사례에서 방법의 효과성과 계산 효율성을 검증하기 위해.

제안 방법

• 확률적 예측 프레임워크를 활용하여 오류율이 보장된 예측 집합을 생성함으로써 통계적 신뢰성을 확보한다.
• 고차원 입력을 효율적으로 처리하기 위해 훈련된 딥 뉴럴 네트워크에서 유도된 임bedding 표현을 사용해 비일관성 점수를 계산한다.
• 각 입력에 대해 재학습을 방지하고 실시간 동작을 가능하게 하기 위해 사전 훈련된 모델과 임bedding 기반 추론을 활용한다.
• 사용자가 정의한 신뢰 수준(예: 95%)으로 진짜 레이블이 포함되는 예측 집합을 구성한다.
• 모델의 신뢰도가 너무 낮은 입력을 동적으로 식별하여, 필요할 때만 경고를 발생시킨다.
• 계산 효율성이 뛰어나 안전이 중요한 사이버-물리 시스템에 적합한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 임bedding 기반 비일관성 점수를 활용한 확률적 예측은 고차원 입력에 대해 사이버-물리 시스템에서 잘 校정된 신뢰도 추정을 제공할 수 있는가?
• RQ2 실시간 모니터링에서 오류율을 제한하면서도 경고 수를 최소화하는 데 이 방법은 얼마나 효과적인가?
• RQ3 교통 표지 인식 및 로봇 주행과 같은 실제 사이버-물리 시스템 응용 분야로의 확장성은 어느 정도인가?
• RQ4 신뢰성과 계산 오버헤드 측면에서 기존 예측 방법과 비교해 볼 때 이 방법은 어떠한가?
• RQ5 성능나 안전성에 영향을 주지 않으면서도 실시간 시스템에 이 프레임워크를 구현할 수 있는가?

주요 결과

• 독일 교통 표지 인식 벤치마크와 로봇 주행 데이터셋 양쪽 모두에서 잘 校정된 오류율을 달성하였으며, 실제 오류율이 명시된 신뢰 수준과 매우 유사하게 유지되었다.
• 경고가 필요한 입력 수(즉, 낮은 신뢰도를 가진 입력)가 작게 유지되어 모니터링 자원을 효율적으로 사용하고 있음을 시사한다.
• 계산 효율성이 뛰어나 안전이 중요한 사이버-물리 시스템에 적합한 실시간 운영이 가능함을 입증하였다.
• 임bedding 표현의 사용으로 직접 고차원 입력 처리에 비해 비일관성 점수 계산의 계산 비용을 크게 감소시켰다.
• 실험 결과 예측 집합이 원하는 오류율 한계를 유지함을 확인하여 확률적 예측의 이론적 보장을 검증하였다.
• 성능 저하 없이 실제 사이버-물리 시스템 응용에서 유도된 복잡한 고차원 입력을 성공적으로 처리하였다.