[논문 리뷰] Cache-Aided NOMA Mobile Edge Computing: A Reinforcement Learning Approach

Zhong Yang, Yuanwei Liu외 2명|arXiv (Cornell University)|2019. 06. 20.

Advanced Wireless Communication Technologies참고 문헌 44인용 수 10

한 줄 요약

이 논문은 임계 장기 기억(LSTM) 네트워크를 활용해 작업 인기도를 예측하고, 베이지안 학습 기계(BLA)가 향상시킨 다중 에이전트 Q-학습(MAQ-학습) 알고리즘을 사용해 동적 자원 할당을 수행하는 캐시 보조 NOMA 기반 모바일 에지 컴퓨팅 프레임워크를 제안한다. 이 방법은 작업 오프로딩, 계산 자원 할당, 캐싱 결정을 종합적으로 최적화하여 지연 시간과 에너지 효율성 측면에서 기준 성능을 크게 뛰어넘는다.

ABSTRACT

A novel non-orthogonal multiple access (NOMA) based cache-aided mobile edge computing (MEC) framework is proposed. For the purpose of efficiently allocating communication and computation resources to users' computation tasks requests, we propose a long-short-term memory (LSTM) network to predict the task popularity. Based on the predicted task popularity, a long-term reward maximization problem is formulated that involves a joint optimization of the task offloading decisions, computation resource allocation, and caching decisions. To tackle this challenging problem, a single-agent Q-learning (SAQ-learning) algorithm is invoked to learn a long-term resource allocation strategy. Furthermore, a Bayesian learning automata (BLA) based multi-agent Q-learning (MAQ-learning) algorithm is proposed for task offloading decisions. More specifically, a BLA based action select scheme is proposed for the agents in MAQ-learning to select the optimal action in every state. We prove that the BLA based action selection scheme is instantaneously self-correcting and the selected action is an optimal solution for each state. Extensive simulation results demonstrate that: 1) The prediction error of the proposed LSTMs based task popularity prediction decreases with increasing learning rate. 2) The proposed framework significantly outperforms the benchmarks like all local computing, all offloading computing, and non-cache computing. 3) The proposed BLA based MAQ-learning achieves an improved performance compared to conventional reinforcement learning algorithms.

연구 동기 및 목표

• 고밀도 사용자 및 지연 민감도가 높은 애플리케이션을 가진 모바일 에지 컴퓨팅(MEC) 네트워크에서 통신 및 계산 자원을 효율적으로 할당하는 데 도전하는 것.
• 기존의 직교 다중접근(OMA) 및 캐시 미지원 MEC의 한계를 극복하기 위해 비직교 다중접근(NOMA)과 에지 캐싱을 통합하여 스펙트럼 효율성을 향상시키고 중복 계산을 줄이는 것.
• 동적인 작업 인기도 조건 하에서 작업 오프로딩, 계산 자원 할당, 캐싱 결정을 종합적으로 최적화하는 프레임워크를 개발하는 것.
• 시간에 따라 변화하는 작업 수요와 네트워크 조건에 적응할 수 있는 강화학습 기반 전략을 설계하여 장기 보상 최대화를 달성하는 것.

제안 방법

• 역사적 요청 패턴을 기반으로 향후 작업 인기도를 예측하기 위해 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 작업 오프로딩 결정, 계산 자원 할당, 캐싱 전략을 종합적으로 최적화하는 장기 보상 최대화 문제를 수립한다.
• 장기 자원 할당 정책을 학습하기 위해 단일 에이전트 Q-학습(SAQ-학습) 알고리즘을 활용한다.
• 다중 에이전트 Q-학습(MAQ-학습) 프레임워크 내에서 베이지안 학습 기계(BLA) 기반의 행동 선택 메커니즘을 도입하여 의사결정 효율성과 수렴성을 향상시킨다.
• BLA 기반 행동 선택이 각 상태에서 자가 수정되며 최적 행동으로 수렴함을 증명하여 강건성과 적응성을 확보한다.
• BLA의 믿음 상태를 표현하기 위해 베타 분포 모델링을 통합하여 이전 피드백 기반의 확률적 행동 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 동적 MEC 환경에서 작업 인기도를 정확하게 예측하여 사전 자원 할당을 가능하게 할 수 있는가?
• RQ2 NOMA 기반 MEC 네트워크에서 작업 오프로딩, 계산 자원 할당, 캐싱의 최적 통합 전략은 무엇인가?
• RQ3 BLA 기반 다중 에이전트 Q-학습 프레임워크는 기존 강화학습 방법에 비해 수렴성과 성능 측면에서 뛰어나게 작용하는가?
• RQ4 BLA 기반 행동 선택 메커니즘의 자가 수정 성질이 다양한 동적 MEC 환경에서 장기적 의사결정을 어떻게 향상시키는가?
• RQ5 기존의 오프로딩 및 계산 전략에 비해 캐싱과 NOMA를 통합함으로써 달성 가능한 성능 향상 수준는 무엇인가?

주요 결과

• LSTM 기반 작업 인기도 예측의 오차는 학습률이 증가할수록 감소하여 더 높은 학습 강도에서 정확도가 향상됨을 나타낸다.
• 제안된 캐시 보조 NOMA MEC 프레임워크는 전부 로컬 계산, 전부 오프로딩 계산, 캐시 미지원 계산 등의 기준 전략에 비해 시스템 성능에서 뚜렷한 우수성을 보인다.
• BLA 기반 MAQ-학습 알고리즘은 기존 강화학습 알고리즘에 비해 뛰어난 성능을 보이며, 더 빠른 수렴성과 더 나은 장기 보상 최대화를 실현한다.
• BLA 기반 행동 선택 메커니즘이 즉각적인 자가 수정 성질을 지녀, 각 상태에서 최적 행동을 선택함으로써 학습 안정성을 향상시킴을 입증하였다.
• 이론적 분석을 통해 BLA의 믿음 분포 기대값이 진정한 보상 확률로 수렴함을 확인하여 알고리즘의 수렴성과 최적성의 타당성을 입증하였다.
• 자주 요청되는 결과를 캐싱함으로써 중복된 작업 오프로딩과 계산을 효과적으로 줄여 네트워크 지연 시간과 에너지 소비를 감소시켰다.