[논문 리뷰] Dynamic Coded Caching in Wireless Networks Using Multi-Agent Reinforcement Learning

Jesper Pedersen, Alexandre Graell i Amat외 2명|arXiv (Cornell University)|2021. 04. 14.

Caching and Content Delivery참고 문헌 23인용 수 4

한 줄 요약

이 논문은 무선 네트워크에서 동적 코딩 캐싱을 위한 다중 에이전트 강화학습(MARL) 프레임워크를 제안하며, 백홀드 부하를 최소화하기 위해 소프트 타임투라이브(STTL) 정책을 사용한다. MARL이 지식에 의존하는 최적화된 정책보다 뛰어나며, 비균일한 공간적 요청 분포 하에서도 특히 C=4 및 ζ=0.9일 때 네트워크 부하를 최대 20% 낮춘다.

ABSTRACT

We consider distributed caching of content across several small base stations (SBSs) in a wireless network, where the content is encoded using a maximum distance separable code. Specifically, we apply soft time-to-live (STTL) cache management policies, where coded packets may be evicted from the caches at periodic times. We propose a reinforcement learning (RL) approach to find coded STTL policies minimizing the overall network load. We demonstrate that such caching policies achieve almost the same network load as policies obtained through optimization, where the latter assumes perfect knowledge of the distribution of times between file requests as well the distribution of the number of SBSs within communication range of a user placing a request. We also suggest a multi-agent RL (MARL) framework for the scenario of non-uniformly distributed requests in space. For such a scenario, we show that MARL caching policies achieve lower network load as compared to optimized caching policies assuming a uniform request placement. We also provide convincing evidence that synchronous updates offer a lower network load than asynchronous updates for spatially homogeneous renewal request processes due to the memory of the renewal processes.

연구 동기 및 목표

• 요청 통계 및 SBS 분포가 불확실하거나 알려져 있지 않은 상황에서 분산 코딩 캐싱의 백홀드 부하를 최소화하는 데 도전한다.
• 요청 프로세스 분포와 SBS 가용성에 대한 사전 지식이 필요 없는 강화학습(RL) 접근법을 개발한다.
• 공시적 및 이방향 캐시 업데이트가 공간적으로 균일하고 비균일한 요청 프로세스에서 네트워크 부하에 미치는 영향을 조사한다.
• 각 SBS가 자율적으로 캐싱 정책을 학습할 수 있도록 분산형 및 적응형 운영을 가능하게 하는 다중 에이전트 RL(MARL) 프레임워크를 설계한다.
• 특히 비균일한 요청 시나리오에서, 완벽한 지식과 동기화 업데이트를 전제로 한 최적화된 정책과 비교하여 MARL 정책의 성능을 평가한다.

제안 방법

• 동적 코딩 STTL 캐싱 문제를 단일 에이전트를 사용한 동적 결정 정책 기반 강화학습(DDPG) 문제로 공식화하고, 동기화 업데이트에 대응한다.
• 요청된 파일의 원-핫 인코딩과 행동에 대한 시그모이드 출력을 사용하여 액터 및 크리틱 함수를 신경망으로 근사한다.
• 탐색을 위해 평균이 0인 가우시안 노이즈를 사용하며, 분산 σ² = 0.01을 적용하고, Adam 옵티마이저를 사용하며, 메모리 버퍼 크기 10⁶ 및 배치 크기 64를 사용한다.
• MARL 설정에서는 각 SBS를 독립된 에이전트로 모델링하여, 글로벌 동기화 없이 이방향 학습과 분산형 정책 업데이트를 허용한다.
• DDPG 에이전트를 할인 인자 γ = 0.99와 타겟 네트워크 업데이트 비율 ρ = 0.999로 훈련하여 학습 안정성을 높인다.
• 사용자 요청의 공간적 분포가 다양할 경우를 평가하며, 요청자가 관련 SBS의 범위 내에 있을 확률인 ζ로 매개변수화한다.

실험 결과

연구 질문

• RQ1 완벽한 요청 통계와 SBS 분포 지식을 전제로 한 최적화 정책과 비교해, 단일 에이전트 DDPG 기반 RL 접근법이 백홀드 부하 감소를 유사한 수준으로 달성할 수 있는가?
• RQ2 공간적으로 균일한 갱신 요청 프로세스에서, 동기화 캐시 업데이트가 이방향 업데이트보다 낮은 네트워크 부하를 유도하는가?
• RQ3 비균일한 공간적 요청 시나리오에서, 균일한 요청 분포와 동기화 업데이트를 전제로 한 최적화 정책과 비교해 MARL 기반 캐싱 정책의 성능은 어떻게 되는가?
• RQ4 갱신 프로세스에 내재된 기억성이 동기화 및 이방향 캐시 업데이트의 효과성에 얼마나 영향을 미치는가?
• RQ5 MARL이 중앙 집중식 조율 또는 사전 통계 지식 없이 SBS들이 자율적으로 효과적인 캐싱 정책을 학습할 수 있도록 할 수 있는가?

주요 결과

• 단일 에이전트 DDPG 기반 RL 접근법이 요청 통계와 SBS 분포의 완벽한 지식이 필요한 최적화 정책과 거의 동일한 백홀드 부하 감소를 달성한다.
• 공간적으로 균일한 갱신 요청 프로세스에서 동기화 캐시 업데이트가 이방향 업데이트보다 낮은 네트워크 부하를 유도하며, 요청 프로세스의 기억성이 동기화 비용을 초월해 성능 향상에 기여함을 시사한다.
• 공간적으로 비균일한 요청 프로세스에서는 MARL 정책이 균일성과 동기화 업데이트를 전제로 한 최적화 정책보다 최대 20% 낮은 네트워크 부하를 기록하며, 특히 ζ = 0.9 및 캐시 크기 C = 4일 때 두드러진다.
• MARL 프레임워크는 이질적인 시나리오에서 최적화 정책을 능가하며, 분산형 자율 학습이 현실 세계의 공간적 비균일성에 더 잘 적응함을 보여준다.
• 사용자가 SBS의 범위 내에 있을 확률(ζ)이 균일한 경우(ζ = π/8 ≈ 0.39)에서 벗어날수록, 특히 ζ > π/8일 때 MARL의 성능 향상이 가장 두드러진다.
• 탐색 노이즈와 배치 정규화를 사용한 DDPG 알고리즘은 사전 통계 가정 없이도 안정적인 훈련과 효과적인 정책 학습을 달성한다.