[논문 리뷰] Deep Reinforcement Learning for Wireless Sensor Scheduling in Cyber-Physical Systems

Alex S. Leong, Arunselvan Ramaswamy외 3명|arXiv (Cornell University)|2018. 09. 13.

Reinforcement Learning in Robotics참고 문헌 29인용 수 9

한 줄 요약

이 논문은 제한된 채널과 패킷 손실 조건 하에서 원격 상태 추정을 최적화하기 위해 딥 강화학습 기반 센서 스케줄링 프레임워크를 제안한다. 모델에 종속되지 않은 스케일러블한 방식으로 딥 Q넷(DQN)을 사용하여, 채널 상태 지식이 없이도 다양한 시나리오에서 전통적인 정책인 라운드로빈과 게이핑 스케줄링보다 뛰어난 성능을 내며, 추정 안정성과 정확도를 향상시킨다.

ABSTRACT

In many Cyber-Physical Systems, we encounter the problem of remote state estimation of geographically distributed and remote physical processes. This paper studies the scheduling of sensor transmissions to estimate the states of multiple remote, dynamic processes. Information from the different sensors have to be transmitted to a central gateway over a wireless network for monitoring purposes, where typically fewer wireless channels are available than there are processes to be monitored. For effective estimation at the gateway, the sensors need to be scheduled appropriately, i.e., at each time instant one needs to decide which sensors have network access and which ones do not. To address this scheduling problem, we formulate an associated Markov decision process (MDP). This MDP is then solved using a Deep Q-Network, a recent deep reinforcement learning algorithm that is at once scalable and model-free. We compare our scheduling algorithm to popular scheduling algorithms such as round-robin and reduced-waiting-time, among others. Our algorithm is shown to significantly outperform these algorithms for many example scenarios.

연구 동기 및 목표

• 제한된 무선 채널과 신뢰할 수 없는 통신 조건을 가진 대규모 사이버-물리 시스템에서 센서 전송 스케줄링 문제를 해결하기 위해.
• 채널 통계나 상태 정보 지식이 필요 없는 스케일러블하고 모델에 종속되지 않은 스케줄링 솔루션을 개발하기 위해.
• 과정 다이내믹스와 추정 오차 공분산을 기반으로 센서 액세스를 최적화하여 원격 상태 추정 정확도를 향상시키기 위해.
• 기존 MDP 기반 스케줄링에서 발생하는 차원의 극복 문제를 딥 함수 근사 기법을 통해 해결하기 위해.
• 다양한 네트워크 조건에서 히우리스틱 및 게이핑 스케줄링 정책에 비해 딥 강화학습의 우수성을 입증하기 위해.

제안 방법

• 추정 오차 공분산과 보관 시간으로 정의된 상태 공간을 가진 마르코프 결정 과정(MDP)으로 센서 스케줄링 문제를 수식화한다.
• 경험 재생과 고정 타겟 네트워크를 사용하여 Q-값 함수를 근사하고 학습을 안정화시키기 위해 딥 Q넷(DQN)을 적용한다.
• 추정 오차 공분산 감소를 기반으로 보상 함수를 정의하여 학습을 더 나은 상태 추정 방향으로 이끈다.
• 딥 신경망을 통한 함수 근사를 사용하여 큰 상태 공간과 액션 공간을 처리하고, 기존 Q-러닝을 초월한 스케일러빌리티를 달성한다.
• 환경과의 상호작용을 통해 온라인으로 에이전트를 훈련시켜 변화하는 채널 및 과정 조건에 실시간으로 적응할 수 있도록 한다.
• 채널 통계나 패킷 손실 확률을 명시적으로 알 필요가 없는 모델에 종속되지 않은 접근 방식을 구현한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 다수의 동적 과정과 제한된 무선 채널을 가진 대규모 사이버-물리 시스템에서 센서 스케줄링 문제를 효과적으로 해결할 수 있는가?
• RQ2 DQN 기반 접근 방식은 라운드로빈과 감소된 대기 시간 정책과 비교해 추정 정확도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 채널 상태 지식이 없는 것이 제안된 모델에 종속되지 않은 스케줄링 알고리즘의 성능에 어느 정도 영향을 미치는가?
• RQ4 경험 재생과 고정 타겟 네트워크와 같은 핵심 DQN 구성 요소가 학습 안정성과 성능에 미치는 영향은 무엇인가?
• RQ5 DQN 기반 스케줄러는 오차 공분산 또는 보관 시간 기반 게이핑 정책보다 더 나은 추정 성능을 달성하는가?

주요 결과

• 제안된 DQN 기반 스케줄링 알고리즘이 모든 테스트 시나리오에서 라운드로빈, 감소된 대기 시간, 게이핑 정책을 뛰어넘는 것으로 확인되었으며, 특히 추정 오차 공분산 감소 측면에서 뚜렷한 우월성을 보였다.
• 기본 정책 대비 평균 추정 오차가 유의미하게 낮아졌으며, 특히 고패킷 손실 및 고다이나믹스 환경에서 성능 향상이 두드러졌다.
• 경험 재생과 고정 타겟 네트워크를 생략할 경우 성능 저하가 심각하게 발생하여, 이들이 학습 안정성 향상과 수렴 개선에 핵심적인 역할을 한다는 점을 입증했다.
• 채널 통계 지식이 없더라도 모델에 종속되지 않은 접근 방식이 강력한 성능 유지를 보여, 실제 동적 환경에서의 강인성을 입증했다.
• 오차 공분산 기반 게이핑 정책이 보관 시간 기반 정책보다 성능이 뛰어나, 추정 인식 스케줄링이 더 나은 결과를 낳는다는 점을 확인했다.
• 이론적 분석을 통해 최대 과정 불안정성이 임계값 이하일 경우 제안된 정책 하에서 평균 비용이 유계임을 확인하여 장기적 안정성을 뒷받침했다.