[논문 리뷰] Adaptive Caching via Deep Reinforcement Learning.

Alireza Sadeghi, Gang Wang외 1명|arXiv (Cornell University)|2019. 02. 27.

Caching and Content Delivery참고 문헌 25인용 수 3

한 줄 요약

이 논문은 부모 노드와 리프 노드를 갖는 탈중앙화된 콘텐츠 배달 네트워크를 위한 딥 강화학습 기반의 적응형 캐싱 프레임워크를 제안한다. 실시간으로 최적의 캐싱 정책을 학습하기 위해 딥 Q넷을 사용함으로써, 시스템은 동적인 파일 요청 패턴과 알려지지 않은 리프 노드 행동에 적응하여, 큰 연속 상태 공간에서 캐싱 성능을 크게 향상시킨다.

ABSTRACT

Caching is envisioned to play a critical role in next-generation content delivery infrastructure, cellular networks, and Internet architectures. By smartly storing the most popular contents at the storage-enabled network entities during off-peak demand instances, caching can benefit both network infrastructure as well as end users, during on-peak periods. In this context, distributing the limited storage capacity across network entities calls for decentralized caching schemes. Many practical caching systems involve a parent caching node connected to multiple leaf nodes to serve user file requests. To model the two-way interactive influence between caching decisions at the parent and leaf nodes, a reinforcement learning framework is put forth. To handle the large continuous state space, a scalable deep reinforcement learning approach is pursued. The novel approach relies on a deep Q-network to learn the Q-function, and thus the optimal caching policy, in an online fashion. Reinforcing the parent node with ability to learn-and-adapt to unknown policies of leaf nodes as well as spatio-temporal dynamic evolution of file requests, results in remarkable caching performance, as corroborated through numerical tests.

연구 동기 및 목표

• 부모 노드와 리프 노드를 갖는 탈중앙화된 캐싱 문제를 해결하기 위해.
• 부모 노드와 리프 노드 캐싱 결정 간의 상호 영향을 이원적으로 모델링하기 위해.
• 파일 요청 패턴의 시공간적 변화에 실시간으로 적응하기 위해.
• 실제 캐싱 시스템에서 흔히 나타나는 큰 연속 상태 공간을 다루기 위해.
• 최적의 캐싱 정책 유도를 위한 확장 가능하고 온라인 학습 메커니즘 개발하기 위해.

제안 방법

• 부모 노드와 리프 노드 캐싱 결정 간의 상호작용을 모델링하기 위해 강화학습 프레임워크를 설계하였다.
• 딥 Q넷(DQN)을 활용하여 Q함수를 근사하고, 온라인 및 종단 간 방식으로 최적의 캐싱 정책을 학습하였다.
• 딥 신경망을 통한 함수 근사를 활용하여 큰 연속 상태 공간을 처리하였다.
• 사전 지식 없이도 리프 노드의 알려지지 않은 정책과 변화하는 요청 역학에 부모 노드가 적응할 수 있도록 설계하였다.
• 지속적인 온라인 학습을 통해 탈중앙화되고 확장 가능한 캐싱 결정을 가능하게 하였다.
• 인기와 네트워크 상태 정보를 균형 있게 조절함으로써 장기적인 캐싱 성과를 극대화하도록 학습하였다.

실험 결과

연구 질문

• RQ1 부모 노드와 리프 노드를 갖는 탈중앙화된 네트워크에서 캐싱 정책을 어떻게 적응적으로 학습할 수 있는가?
• RQ2 딥 Q넷이 실제 캐싱 시스템의 연속 상태 공간을 얼마나 효과적으로 다룰 수 있는가?
• RQ3 알려지지 않은 리프 노드 행동에 부모 노드가 적응할 수 있는 능력이 전체 캐싱 성능에 어떤 영향을 미치는가?
• RQ4 정적 또는 히وري스틱 캐싱 전략에 비해 온라인 딥 강화학습을 사용할 경우 성능 향상은 어느 정도인가?
• RQ5 동적인 시간에 따라 변화하는 요청 패턴 하에서 이 프레임워크는 얼마나 잘 확장되는가?

주요 결과

• 제안된 딥 강화학습 접근법은 기준 방법에 비해 훨씬 향상된 캐싱 성능을 달성하였다.
• 알려지지 않은 리프 노드 행동에도 불구하고 시스템은 실시간으로 최적의 캐싱 정책을 효과적으로 학습하였다.
• 프레임워크는 파일 요청 패턴의 시공간적 동적 변화에 강력한 적응성을 보였다.
• 딥 Q넷의 사용은 큰 연속 상태 공간에서의 확장 가능한 학습을 가능케 하였다.
• 수치적 평가를 통해 동적인 환경에서 적응형 캐싱 정책의 강인성과 효과성을 확인하였다.
• 부모 노드의 학습 및 적응 능력 덕분에 콘텐츠 배달 효율성이 향상되고 지연 시간이 감소하였다.