[논문 리뷰] Multi-Content Time-Series Popularity Prediction with Multiple-Model Transformers in MEC Networks

Zohreh Hajiakhondi-Meybodi, Arash Mohammadi외 5명|arXiv (Cornell University)|2022. 10. 12.

Caching and Content Delivery인용 수 4

한 줄 요약

이 논문은 모바일 엣지 컴퓨팅(MEC) 네트워크에서 다중 콘텐츠 시계열 인기도를 예측하기 위해 다중 모델 기반 트랜스포머 엣지 캐싱(MTEC) 프레임워크를 제안한다. 하이브리드 트랜스포머 아키텍처를 사용하여 최상위 K개의 인기 콘텐츠와 그 요청 확률을 동시에 예측함으로써 최적의 코딩/언코딩 콘텐츠 배치를 실현한다. MTEC 모델은 최신 기술 대비 높은 캐시 히트 비율과 전송된 바이트 수 성능을 달성하여 다양한 콘텐츠 동적 변화에 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Coded/uncoded content placement in Mobile Edge Caching (MEC) has evolved as an efficient solution to meet the significant growth of global mobile data traffic by boosting the content diversity in the storage of caching nodes. To meet the dynamic nature of the historical request pattern of multimedia contents, the main focus of recent researches has been shifted to develop data-driven and real-time caching schemes. In this regard and with the assumption that users' preferences remain unchanged over a short horizon, the Top-K popular contents are identified as the output of the learning model. Most existing datadriven popularity prediction models, however, are not suitable for the coded/uncoded content placement frameworks. On the one hand, in coded/uncoded content placement, in addition to classifying contents into two groups, i.e., popular and nonpopular, the probability of content request is required to identify which content should be stored partially/completely, where this information is not provided by existing data-driven popularity prediction models. On the other hand, the assumption that users' preferences remain unchanged over a short horizon only works for content with a smooth request pattern. To tackle these challenges, we develop a Multiple-model (hybrid) Transformer-based Edge Caching (MTEC) framework with higher generalization ability, suitable for various types of content with different time-varying behavior, that can be adapted with coded/uncoded content placement frameworks. Simulation results corroborate the effectiveness of the proposed MTEC caching framework in comparison to its counterparts in terms of the cache-hit ratio, classification accuracy, and the transferred byte volume.

연구 동기 및 목표

• 기존의 데이터 기반 인기도 예측 모델이 코딩/언코딩 콘텐츠 배치를 지원하는 데에 한계를 보이며, 단순히 최상위 K개 분류를 넘어서 요청 확률 추정이 필요하다는 점을 해결하기 위해.
• 시간에 따라 변화하는 콘텐츠 요청 패턴, 특히 부드럽지 않은 동적 패턴을 포함한 실시간으로 작동하고 일반화 가능한 인기도 예측 프레임워크를 개발하기 위해.
• 콘텐츠 인기도와 요청 확률을 정확히 예측하여 MEC 네트워크에서 캐시 히트 비율을 높이고 데이터 전송량을 줄이기 위해.
• 클러스터 중심의 MEC 아키텍처에서 언코딩 및 코딩 콘텐츠 배치 전략과의 효과적인 통합을 가능하게 하기 위해.
• 기존의 통계적 및 머신러닝 기반 인기도 예측 모델에서 흔히 발생하는 캐시 스타트 문제와 희소성 문제를 극복하기 위해.

제안 방법

• MTEC 프레임워크는 시간 시계열 요청 패턴의 시퀀스 모델링을 위한 스트림과 콘텐츠 특수 특성 인코딩을 위한 스트림을 병렬로 처리하는 다중 모델(하이브리드) 트랜스포머 아키텍처를 채택한다.
• 각 스트림은 다중 헤드 자기주의 메커니즘을 사용하여 장거리 시간적 의존성과 콘텐츠 간 상관관계를 포착한다.
• 두 스트림의 출력은 완전 연결층을 통해 융합되어 최상위 K개의 인기 콘텐츠와 그 요청 확률에 대한 통합 예측을 생성한다.
• 프레임워크는 인기 순위 분류 손실과 요청 확률 추정 회귀 손실을 조합한 다중 작업 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 모델은 요청 확률 예측을 제공함으로써 언코딩 및 코딩/언코딩 콘텐츠 배치 전략 모두와 호환되도록 설계되어 있으며, 부분적 또는 완전한 캐싱 결정에 활용된다.
• 모델은 캐시 히트 비율, 전송된 바이트 수, 분류 정확도 등의 지표를 사용해 Movielens 데이터셋에서 평가된다.

Figure 1: A typical structure of a cluster-centric and UAV-aided cellular networks.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 MEC 네트워크에서 코딩/언코딩 콘텐츠 배치를 지원하기 위해 최상위 K개의 인기 콘텐츠와 요청 확률을 동시에 예측할 수 있는가?
• RQ2 다양한 콘텐츠 유형에서 시간에 따라 변화하는 인기도 패턴을 예측할 때 하이브리드 트랜스포머 아키텍처가 단일 아키텍처 모델보다 우수한 성능을 보이는 이유는 무엇인가?
• RQ3 제안된 MTEC 프레임워크는 최신 기술 대비 캐시 히트 비율을 얼마나 향상시키고 데이터 전송량을 줄이는가?
• RQ4 실제 MEC 구현에서 흔히 발생하는 비스무스럽고 빠르게 변화하는 요청 패턴을 다룰 때 MTEC 모델은 기존 모델보다 더 우수한 일반화 능력을 보이는가?
• RQ5 다중 트랜스포머 스트림의 융합이 다중 콘텐츠 인기도 예측의 정확도와 강건성에 어떻게 기여하는가?

주요 결과

• MTEC 프레임워크는 Movielens 데이터셋에서 LRU, LFU, PopCaching, LSTM-C, TC, RCT, TEDGE 등 비교 기준 모델 전부보다 가장 높은 캐시 히트 비율을 달성한다.
• MTEC 모델은 RCT 및 TEDGE 기준 모델보다 전송된 바이트 수가 적어, 더 정확한 예측으로 인해 더 효율적인 데이터 전달이 가능함을 시사한다.
• 완전 연결 융합층을 사용한 MTEC 아키텍처(MTEC-AT)는 TC 및 TRC와 같은 단일 트랜스포머 모델보다 높은 분류 정확도를 기록한다.
• 제안된 MTEC 프레임워크는 비스무스럽고 급격히 변화하는 요청 패턴을 포함한 다양한 콘텐츠 동적 변화에 뛰어난 일반화 능력을 보여준다.
• 시뮬레이션 결과는 MTEC 모델이 요청 확률을 예측할 수 있음으로써 코딩/언코딩 콘텐츠 배치 전략과 효과적으로 통합되어 전체 네트워크 효율성이 향상됨을 확인한다.
• MTEC 프레임워크는 예측된 인기도에 기반해 일부 또는 전체 콘텐츠를 저장할 필요성을 줄여 주며, 전체 콘텐츠 복제가 필요하지 않은 상황을 줄인다.

Figure 2: Block diagram of the proposed MTEC architecture.