[논문 리뷰] Reinforcement Learning for Minimizing Age of Information in Real-time Internet of Things Systems with Realistic Physical Dynamics.

Wang Si-hua, Mingzhe Chen외 5명|arXiv (Cornell University)|2021. 04. 04.

Age of Information Optimization참고 문헌 25인용 수 4

한 줄 요약

이 논문은 비선형 물리적 동역성을 가진 IoT 시스템에서 샘플링 정책과 장치 선택을 공동으로 최적화하기 위한 분산 강화학습 프레임워크를 제안한다. 이는 정보의 나이(AoI)와 에너지 소비의 가중합을 최소화한다. 실질적인 PM2.5 데이터를 사용하여 기준 방법 대비 최대 33.9%의 AoI 감소와 최대 35.1%의 에너지 소비 감소를 달성한다.

ABSTRACT

In this paper, the problem of minimizing the weighted sum of age of information (AoI) and total energy consumption of Internet of Things (IoT) devices is studied. In the considered model, each IoT device monitors a physical process that follows nonlinear dynamics. As the dynamics of the physical process vary over time, each device must find an optimal sampling frequency to sample the real-time dynamics of the physical system and send sampled information to a base station (BS). Due to limited wireless resources, the BS can only select a subset of devices to transmit their sampled information. Meanwhile, changing the sampling frequency will also impact the energy used by each device for sampling and information transmission. Thus, it is necessary to jointly optimize the sampling policy of each device and the device selection scheme of the BS so as to accurately monitor the dynamics of the physical process using minimum energy. This problem is formulated as an optimization problem whose goal is to minimize the weighted sum of AoI cost and energy consumption. To solve this problem, a distributed reinforcement learning approach is proposed to optimize the sampling policy. The proposed learning method enables the IoT devices to find the optimal sampling policy using their local observations. Given the sampling policy, the device selection scheme can be optimized so as to minimize the weighted sum of AoI and energy consumption of all devices. Simulations with real data of PM 2.5 pollution show that the proposed algorithm can reduce the sum of AoI by up to 17.8% and 33.9% and the total energy consumption by up to 13.2% and 35.1%, compared to a conventional deep Q network method and a uniform sampling policy.

연구 동기 및 목표

• 비선형 물리적 과정을 모니터링하는 실시간 IoT 시스템에서 정보의 나이(AoI)와 총 에너지 소비의 가중합을 최소화하기 위해.
• IoT 장치가 동적으로 변화하는 물리적 시스템 행동에 대응하기 위해 적응형 샘플링 주파수 선택이 필요한 과제를 해결하기 위해.
• 제한된 무선 자원 하에서 장치 샘플링 정책과 기지국(BS)의 장치 선택을 공동으로 최적화하기 위해.
• 현지 관측과 분산 학습을 통해 에너지 효율적이고 실시간으로 물리적 과정을 모니터링할 수 있도록 하기 위해.
• 시간에 따라 변화하는 물리적 동역성을 정확히 추적하면서도 시스템 전체의 AoI와 에너지 소비를 줄이기 위해.

제안 방법

• 정보의 나이와 에너지 비용을 균형 잡는 보상 함수를 사용하여 샘플링 주파수와 장치 선택의 공동 최적화를 마코프 결정 과정(MDP)으로 공식화한다.
• 각 IoT 장치가 물리적 과정과 시스템 상태의 국지적 관측에 기반해 최적의 샘플링 정책을 학습하는 분산 강화학습 알고리즘을 제안한다.
• 연속적인 상태 공간과 행동 공간을 다룰 수 있도록 함수 근사 기법을 사용하여 대규모 IoT 환경에서의 확장 가능한 학습을 가능하게 한다.
• 기지국에서 실시간으로 현재의 AoI와 에너지 제약 조건에 따라 스케줄링할 장치를 동적으로 선택하는 장치 선택 메커니즘을 통합한다.
• 동적 환경에서의 확장성과 적응성을 보장하기 위해 중앙 집중적 학습과 분산 실행(CTDE) 철학을 채택한다.
• 학습 안정성을 향상시키기 위해 경험 재생과 타겟 네트워크를 강화한 딥 Q네트워크(DQN)를 사용하여 샘플링 정책을 최적화한다.

실험 결과

연구 질문

• RQ1 비선형 물리적 동역성을 가진 시스템에서 IoT 장치는 정보의 나이와 에너지 소비의 병합 비용을 최소화하기 위해 어떻게 동적으로 샘플링 주파수를 조정할 수 있는가?
• RQ2 샘플링 정책과 장치 선택을 공동으로 최적화함으로써 시스템 전체의 AoI와 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 제안된 분산 강화학습 접근법은 기존의 DQN과 균일 샘플링 대비 정보의 나이와 에너지 절감 측면에서 어떻게 비교되는가?
• RQ4 부분 관측 가능성을 가진 국지적 학습이 자원 제약이 있는 IoT 네트워크에서 글로벌 최적 또는 근접 최적의 시스템 성능을 이끌 수 있는가?
• RQ5 실제 물리적 과정인 PM2.5 오염에서 알고리즘이 에너지 소비를 줄이면서도 낮은 AoI를 유지하는 데 얼마나 효과적인가?

주요 결과

• 제안된 강화학습 방법은 실질적인 PM2.5 데이터를 사용하여 균일 샘플링 정책 대비 총 정보의 나이(AoI)를 최대 33.9% 감소시킨다.
• 알고리즘은 기존의 딥 Q네트워크(DQN) 기준 대비 총 에너지 소비를 35.1% 감소시킨다.
• 표준 DQN 접근법 대비 최대 17.8%의 AoI 감소를 기록하여 학습 효율성 향상과 정책 수렴 성능 향상을 입증한다.
• 분산 학습 프레임워크는 각 IoT 장치가 국지적 관측만을 사용하여 독립적으로 샘플링 주파수를 최적화할 수 있도록 하여 확장성을 보장한다.
• 샘플링과 장치 선택의 공동 최적화는 AoI와 에너지 효율성 양면에서 뚜렷한 향상을 이끌어내며, 기존 히우리스틱 및 기준 학습 방법을 능가한다.
• 실제 PM2.5 데이터를 활용한 시뮬레이션은 제한된 무선 환경 하에서 비선형이고 시간에 따라 변화하는 물리적 과정을 모니터링하는 데 있어 이 방법의 유효성을 검증한다.