[논문 리뷰] Machine Learning in Event-Triggered Control: Recent Advances and Open Issues

Leila Sedghi, Zohaib Ijaz외 3명|arXiv (Cornell University)|2020. 09. 27.

Age of Information Optimization인용 수 7

한 줄 요약

이 논문은 네트워크 제어 시스템(NCSs)에서 기계 학습(ML)과 이벤트 트리거드 제어(ETC)의 통합을 검토하여 통신 대역폭을 최적화하고 동적인 시스템 변화에 적응하도록 한다. ML—특히 통계 학습, 신경망, 강화 학습—을 통해 시스템 동역학을 학습하고 필요할 때만 제어 업데이트를 트리거함으로써 네트워크 부하를 줄이고 성능를 유지할 수 있음을 제안한다.

ABSTRACT

Networked control systems have gained considerable attention over the last decade as a result of the trend towards decentralised control applications and the emergence of cyber-physical system applications. However, real-world wireless networked control systems suffer from limited communication bandwidths, reliability issues, and a lack of awareness of network dynamics due to the complex nature of wireless networks. Combining machine learning and event-triggered control has the potential to alleviate some of these issues. For example, machine learning can be used to overcome the problem of a lack of network models by learning system behavior or adapting to dynamically changing models by continuously learning model dynamics. Event-triggered control can help to conserve communication bandwidth by transmitting control information only when necessary or when resources are available. The purpose of this article is to conduct a review of the literature on the use of machine learning in combination with event-triggered control. Machine learning techniques such as statistical learning, neural networks, and reinforcement learning-based approaches such as deep reinforcement learning are being investigated in combination with event-triggered control. We discuss how these learning algorithms can be used for different applications depending on the purpose of the machine learning use. Following the review and discussion of the literature, we highlight open research questions and challenges associated with machine learning-based event-triggered control and suggest potential solutions.

연구 동기 및 목표

• 실제 무선 네트워크 제어 시스템(NCSs)에서 제한적이고 신뢰성 없는 통신 대역폭 문제를 해결하기 위해.
• NCSs에서 정확한 시스템 및 네트워크 모델이 부족한 문제를 기계 학습을 통해 시스템 동역학과 네트워크 조건을 학습함으로써 극복하기 위해.
• 이벤트 트리거드 제어(ETC)와 ML을 조합하여 필요하지 않은 통신을 줄이고, 필요할 때만 업데이트를 트리거하기 위해.
• 스마트 그리드, 드론(UAVs), 산업 자동화와 같은 동적 환경에서 적응형 ML 기반 ETC를 통해 시스템의 강건성과 성능을 향상시키기 위해.
• ML 기반 ETC의 열린 연구 과제인 계산 부하, 프라이버시, 보안 문제를 식별하고, 피어드 학습 및 스마트 트리거링 메커니즘과 같은 해결책을 제안하기 위해.

제안 방법

• 실시간으로 시스템 모델을 추정하고 적응시키기 위해 통계 학습(SL), 신경망(NNs), 강화 학습(RL), 특히 딥 강화 학습을 활용한다.
• 이벤트 트리거드 제어(ETC)를 사용하여 시스템 상태의 변동이 임계값을 초과할 경우에만 데이터를 전송함으로써 통신을 줄이고 네트워크 사용을 최소화한다.
• 연속적인 상태 모니터링이 필요한 것을 줄이기 위해, 향후 트리거 시간을 사전에 계산하는 더 효율적인 대안으로 자기 트리거드 제어(STC)를 도입한다.
• ML 기법을 적용하여 알려지지 않은 시스템 동역학, 모델 불확실성, 고장 특징을 학습함으로써 변화하는 환경에서 적응형이고 강건한 제어를 가능하게 한다.
• 다중 에이전트 NCSs에서 데이터 프라이버시를 보존하기 위해 로컬에서 모델을 훈련하고 오직 모델 업데이트만 공유하는 피어드 학습을 통합한다.
• 지수 또는 선형 보정 메커니즘을 사용하여 혼란스럽거나 중복된 전송을 방지하는 스마트 이벤트 트리거링 기법을 설계한다.

실험 결과

연구 질문

• RQ1 기계 학습 기법은 불확실하거나 시간에 따라 변화하는 동역학을 가진 NCSs에서 이벤트 트리거드 제어의 적응성과 강건성을 어떻게 향상시킬 수 있는가?
• RQ2 특히 계산 오버헤드, 모델 정확도, 실시간 성능 측면에서 ML과 ETC를 통합할 때의 주요 과제는 무엇인가?
• RQ3 자기 트리거드 제어(STC)는 ML 기반 시스템에서 제어 성능을 유지하면서도 연속적인 상태 관찰이 필요한 정도를 어떻게 줄일 수 있는가?
• RQ4 분산된 NCSs에서 데이터 주입 공격 및 프라이버시 泄露와 같은 사이버 위협으로부터 ML 기반 ETC를 어떻게 보호할 수 있는가?
• RQ5 피어드 학습은 다중 에이전트 시스템에서 ML 기반 이벤트 트리거드 제어를 위한 프라이버시 보존형 분산 모델 학습을 어떻게 지원할 수 있는가?

주요 결과

• 기계 학습은 시스템 동역학을 온라인으로 학습함으로써 정확한 사전 모델에 대한 의존도를 줄여 이벤트 트리거드 제어를 크게 향상시킨다.
• 통계 학습, 신경망, 강화 학습은 ETC 시스템에서 모델 추정 및 제어 최적화에 주로 사용되는 주요 ML 접근법이다.
• 자기 트리거드 제어(STC)는 트리거 시간을 사전에 계산함으로써 전통적인 ETC보다 통신 및 계산 오버헤드를 줄여 ML과의 통합에 더 적합하다.
• 피어드 학습은 다중 에이전트 NCSs에서 원시 데이터를 분산된 노드 간에 공유하는 데 대한 우려를 해결하면서도 프라이버시 보존형 모델 훈련을 가능하게 한다.
• 지수 또는 선형 보정을 포함한 스마트 이벤트 트리거링 기법은 혼란스럽거나 중복된 트리거링을 방지하여 네트워크 효율성을 향상시킨다.
• 딥 신경망을 사용한 정확한 특징 분류와 결합할 경우, ML 기반 ETC는 고장 탐지 및 고장 내성 제어 분야에서 강력한 잠재력을 보인다.