[논문 리뷰] Caching Transient Content for IoT Sensing: Multi-Agent Soft Actor-Critic

Xiongwei Wu, Xiuhua Li외 4명|arXiv (Cornell University)|2020. 08. 30.

Age of Information Optimization참고 문헌 45인용 수 4

한 줄 요약

이 논문은 에지 노드에서 일시적인 IoT 센서 데이터를 캐시하기 위한 다중 에이전트 소프트 액터-크리틱(MADDPG-SAC) 강화학습 프레임워크를 제안한다. 이는 나이의 정보(AoI)를 최적화하면서 에너지 소비와 프론트홀드 비용을 최소화하는 데 목적이 있다. 이 방법은 네트워크 규모가 증가할수록 DQN 및 전통적인 액터-크리틱 기반선과 비교해 뛰어난 성능을 보이며, 분산형 변종은 중심화된 성능에 근접한 성능을 유지한다.

ABSTRACT

Edge nodes (ENs) in Internet of Things commonly serve as gateways to cache sensing data while providing accessing services for data consumers. This paper considers multiple ENs that cache sensing data under the coordination of the cloud. Particularly, each EN can fetch content generated by sensors within its coverage, which can be uploaded to the cloud via fronthaul and then be delivered to other ENs beyond the communication range. However, sensing data are usually transient with time whereas frequent cache updates could lead to considerable energy consumption at sensors and fronthaul traffic loads. Therefore, we adopt age of information to evaluate data freshness and investigate intelligent caching policies to preserve data freshness while reducing cache update costs. Specifically, we model the cache update problem as a cooperative multi-agent Markov decision process with the goal of minimizing the long-term average weighted cost. To efficiently handle the exponentially large number of actions, we devise a novel reinforcement learning approach, which is a discrete multi-agent variant of soft actor-critic (SAC). Furthermore, we generalize the proposed approach into a decentralized control, where each EN can make decisions based on local observations only. Simulation results demonstrate the superior performance of the proposed SAC-based caching schemes.

연구 동기 및 목표

• 데이터가 시간이 지남에 따라 신선도가 떨어지는 IoT 네트워크에서 일시적인 센서 데이터 캐싱 문제를 해결한다.
• 자주 발생하는 캐시 업데이트로 인한 에너지 소비와 프론트홀드 트래픽을 줄이면서도 나이의 정보(AoI)를 낮게 유지한다.
• AoI, 에너지, 프론트홀드 비용을 동시에 최적화하기 위한 협업형 다중 에이전트 마르코프 결정 과정(MMDP) 프레임워크를 개발한다.
• 대규모 에지 캐싱에 적합한 저복잡도 이산 다중 에이전트 강화학습 알고리즘을 설계한다.
• 각 에지 노드가 오직 국지적 관측만을 사용해 결정을 내리는 분산 제어 아키텍처로 해법을 일반화한다.

제안 방법

• AoI, 에너지, 프론트홀드 부하를 조합한 가중치 비용 목적함수를 사용해 캐시 업데이트 문제를 협업형 다중 에이전트 마르코프 결정 과정(MMDP)으로 모델링한다.
• 행동 공간이 이산인 다중 에이전트 환경에 적합한 소프트 액터-크리틱(SAC)의 이산형 변종을 제안하여 공간 복잡도를 감소시킨다.
• Gumbel-Softmax 재구성 기법을 사용해 확률적 행동 선택 메커니즘을 도입하여 미분 가능한 탐색을 가능하게 한다.
• 프론트홀드 신뢰성을 모델링하기 위해 레일라이트 fading과 신호 대 잡음비(SNR) 임계값 기반의 기대 전송률에 대한 닫힌 형태의 수식을 유도한다.
• 중앙집중식 정책을 분산 제어 체계로 일반화하여 각 에지 노드가 오직 국지적 관측만을 사용해 결정을 내리도록 한다.
• 실제 적용에서 AoI와 업데이트 비용을 균형 있게 조절하기 위해 조정 가능한 하이퍼파rameter ω₁과 ω₂를 포함한 가중치 비용 함수를 사용한다.

실험 결과

연구 질문

• RQ1 IoT 에지 캐싱에서 데이터 신선도(AoI), 에너지 소비, 프론트홀드 트래픽을 동시에 최적화할 수 있는 방법은 무엇인가?
• RQ2 이산 다중 에이전트 에지 캐싱 환경에서 기하급수적으로 증가하는 행동 공간을 효율적으로 다룰 수 있는 강화학습 방법은 무엇인가?
• RQ3 분산형 다중 에이전트 SAC 접근법이 대규모 IoT 네트워크에서 중심화된 학습 성능에 근접한 성능을 달성할 수 있는가?
• RQ4 다양한 비용 함수 가중치(ω₁, ω₂)에 따라 AoI, 에너지, 프론트홀드 부하 간의 트레이드오���잉은 어떻게 변화하는가?
• RQ5 동적 IoT 캐싱 환경에서 제안된 MADDPG-SAC는 DQN 및 전통적인 액터-크리틱 기반선 대비 얼마나 높은 성능 향상을 보이는가?

주요 결과

• 제안된 MADDPG-SAC 알고리즘이 에지 노드나 센서의 수가 증가할수록 장기 평균 가중치 비용을 크게 감소시키며 DQN 및 전통적인 액터-크리틱 방법보다 뛰어난 성능을 발휘한다.
• 제안된 방법의 분산형 변종은 중심화된 버전 대비 5% 이내의 성능를 유지하여 뛰어난 확장성과 실용성을 입증한다.
• 시뮬레이션 결과는 ω₁과 ω₂를 조정함으로써 AoI와 업데이트 비용 간 효과적인 트레이드오프를 달성할 수 있으며, 가중치가 10을 초과하면 수익 감소 현상이 나타남을 보여준다.
• 신선도 최적화 및 무작위 캐싱 방식과 비교해 평균 AoI를 낮추고 에너지 소비와 프론트홀드 비용을 감소시킨다.
• 레일라이트 fading 하에서 기대 전송률의 분석적 유도 결과는 가중치 비용 함수 내 프론트홀드 신뢰성 정확한 모델링을 뒷받침한다.
• Gumbel-Softmax 재구성 기법은 이산 행동 공간에서 효과적인 탐색을 가능하게 하여 정책 수렴성과 안정성을 향상시킨다.