[논문 리뷰] Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control

Pang, Gaoyang, Kang Huang외 4명|arXiv (Cornell University)|2021. 09. 26.

Advanced Wireless Network Optimization참고 문헌 31인용 수 15

한 줄 요약

이 논문은 여러 주파수 대역을 지원하는 완전히 분산형 무선 네트워크 제어 시스템(WNCS)을 대상으로, 딥 강화학습(DRL) 기반의 동시 업링크 및 다운링크 스케줄링 알고리즘을 제안한다. 시간-지속 기반 상태 벡터를 사용해 문제를 마르코프 결정 과정(MDP)으로 모델링함으로써, 자원 제약 조건 하에서도 안정적인 제어 성능을 달성하며, 수치적 평가에서 기준 정책보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We consider a joint uplink and downlink scheduling problem of a fully distributed wireless networked control system (WNCS) with a limited number of frequency channels. Using elements of stochastic systems theory, we derive a sufficient stability condition of the WNCS, which is stated in terms of both the control and communication system parameters. Once the condition is satisfied, there exists a stationary and deterministic scheduling policy that can stabilize all plants of the WNCS. By analyzing and representing the per-step cost function of the WNCS in terms of a finite-length countable vector state, we formulate the optimal transmission scheduling problem into a Markov decision process and develop a deep reinforcement learning (DRL) based framework for solving it. To tackle the challenges of a large action space in DRL, we propose novel action space reduction and action embedding methods for the DRL framework that can be applied to various algorithms, including Deep Q-Network (DQN), Deep Deterministic Policy Gradient (DDPG), and Twin Delayed Deep Deterministic Policy Gradient (TD3). Numerical results show that the proposed algorithm significantly outperforms benchmark policies.

연구 동기 및 목표

• 제한된 주파수 대역을 가진 완전히 분산형 WNCS에서 동시 업링크 및 다운링크 스케줄링의 부재를 해결한다.
• 패킷 도착 간격 기반 유한 길이의 가산성 벡터 상태를 사용해 최적 스케줄링 문제를 마르코프 결정 과정(MDP)으로 공식화한다.
• 제어 및 통신 파rameter를 바탕으로 한 충분한 안정성 조건을 유도하여 안정화 정책의 존재를 보장한다.
• 전통적 동적 프rogramming의 차원의 극복 문제를 해결하기 위해 대규모 스케줄링 문제를 해결하기 위한 딥 Q-러닝 기반 알고리즘을 개발한다.
• 이전 연구에서 동일한 오류 확률을 가정하는 것과 달리, 다양한 통신 링크 간의 채널 조건을 모델링하여 무선 링크의 공간 다양성을 통합한다.

제안 방법

• 컨트롤러가 업링크(센서 → 컨트롤러) 및 다운링크(컨트롤러 → 액チュ에이터) 전송을 모두 스케줄링하는 분산형 N-플랜트-M-주파수 WNCS 모델을 정의한다.
• 컨트롤러 및 액츄에이터에서 연속적인 패킷 수신 간의 시간 지속 기반 상태 벡터를 구성함으로써 유한하고 가산 가능한 상태 공간을 확보한다.
• 각 단계의 비용 함수가 이 시간 지속 기반 상태 벡터에만 의존함을 증명함으로써 MDP 공식화를 가능하게 한다.
• 시스템 안정성 및 추정 오차를 기반으로 한 보상 함수를 사용해 최적 전송 스케줄링 문제를 마르코프 결정 과정(MDP)으로 공식화한다.
• 경험 재생 및 타겟 네트워크 업데이트를 통해 정적이고 결정적인 스케줄링 정책을 학습하는 딥 Q-네트워크(DQN) 에이전트를 구현한다.
• 이론적 안정성 조건을 학습 프레임워크에 통합하여 정책 수렴을 이끌고 전체 시스템의 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 제한된 주파수 대역을 가진 완전히 분산형 WNCS에서 동시 업링크 및 다운링크 스케줄링 정책이 모든 플랜트를 안정화시킬 수 있는가?
• RQ2 무선 링크의 공간 다양성—즉, 다양한 채널 조건—은 스케줄링 결정에 효과적으로 모델링되고 활용될 수 있는가?
• RQ3 안정화 스케줄링 정책의 존재를 보장하는 WNCS에 대한 충분한 안정성 조건은 무엇인가?
• RQ4 자원 제약 조건이 있는 대규모 WNCS에서 딥 강화학습이 기존의 기준 스케줄링 정책보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 패킷 간 간격 기반 상태 표현의 선택이 DRL 기반 스케줄러의 성능 및 수렴에 어떤 영향을 미치는가?

주요 결과

• 제어 시스템 파rameter(예: 플랜트 동역학, 컨트롤러 이득)와 통신 파rameter(예: 채널 오류 확률, 패킷 간 이격 시간)에 따라 의존하는 충분한 안정성 조건이 도출되었으며, 이는 안정화 정책의 존재를 보장한다.
• 제안된 DRL 기반 스케줄러는 평균 추정 오차 및 시스템 안정성 측면에서 라운드로빈 및 무작위 스케줄링과 같은 기준 정책보다 다수의 시뮬레이션 시나리오에서 뚜렷이 뛰어난 성능을 보였다.
• 패킷 간 간격 기반 상태 표현은 시스템 동역학을 효과적으로 포착하며, 고차원 행동 공간 조건에서도 DRL 에이전트가 최적 스케줄링 결정을 학습하는 데 기여한다.
• 공간 다양성이 없는 경우(즉, 동일한 채널 조건)에 안정성 조건이 필수적임을 입증함으로써 이론적 타당성을 검증하였다.
• 수치적 결과는 DRL 에이전트가 최대 10개의 플랜트와 4개의 주파수 대역을 가진 시스템에서도 합리적인 학습 에피소드 수 내에 안정된 정책으로 수렴하는 것으로 나타났다.
• 자원 제약 조건 하에서도 업링크 및 다운링크 전송 요구를 효과적으로 균형 잡으며, 스케줄링 충돌로 인한 제어 성능 저하를 감소시켰다.