[논문 리뷰] Mobile Edge Computation Offloading Using Game Theory and Reinforcement Learning

Shermila Ranadheera, Setareh Maghsudi외 1명|arXiv (Cornell University)|2017. 11. 19.

IoT and Edge/Fog Computing인용 수 39

한 줄 요약

이 논문은 모바일 엣지 컴퓨팅(Mobile Edge Computing, MEC)에서 에너지 효율적인 계산 오프로딩을 위한 게임 이론 및 강화학습 기반 프레임워크를 제안한다. 엣지 서버 선택을 소수자 게임(Minority Game, MG)으로 모델링하여 분산형이고 자율적인 의사결정을 가능하게 한다. 지수 학습과 적응 전략 방법은 사회적 복지와 개인의 복지를 극대화하여 자원 낭비를 줄이고 사용자 경험 품질(QoE)을 향상시키며, 서버 선택에서 더 큰 소수자 집단을 형성함으로써 효과를 발휘한다.

ABSTRACT

Due to the ever-increasing popularity of resource-hungry and delay-constrained mobile applications, the computation and storage capabilities of remote cloud has partially migrated towards the mobile edge, giving rise to the concept known as Mobile Edge Computing (MEC). While MEC servers enjoy the close proximity to the end-users to provide services at reduced latency and lower energy costs, they suffer from limitations in computational and radio resources, which calls for fair efficient resource management in the MEC servers. The problem is however challenging due to the ultra-high density, distributed nature, and intrinsic randomness of next generation wireless networks. In this article, we focus on the application of game theory and reinforcement learning for efficient distributed resource management in MEC, in particular, for computation offloading. We briefly review the cutting-edge research and discuss future challenges. Furthermore, we develop a game-theoretical model for energy-efficient distributed edge server activation and study several learning techniques. Numerical results are provided to illustrate the performance of these distributed learning techniques. Also, open research issues in the context of resource management in MEC servers are discussed.

연구 동기 및 목표

• 에너지가 제한된 초고밀도 MEC 네트워크에서 계산 및 무선 자원이 제한된 환경에서 효율적이고 분산형 자원 관리를 해결하기 위해.
• 모바일 엣지 서버 활성화 및 작업 오프로딩을 비협력 게임으로 모델링하여 전역 정보 없이도 자율적이고 분산형 의사결정이 가능하도록 하기 위해.
• 사회적 복지, 개별 서버 유틸리티, 사용자 경험 품질(QoE)을 최적화하기 위해 다양한 강화학습 기법을 평가하고 비교하기 위해.
• 이질적인 엣지 서버와 무작위 작업 도착, 채널 변동성과 같은 동적 네트워크 조건을 고려한 모델 확장하기 위해.
• 플레이어(서버)가 협력하여 더 큰 소수자 집단을 형성하고, 자원 낭비와 지연을 최소화할 수 있도록 효과적인 학습 규칙 식별하기 위해.

제안 방법

• 플레이어(서버)가 두 가지 행동(예: 활성화 또는 비활성화) 중 선택하여 개인의 수익을 극대화하는 소수자 게임(Minority Game, MG)으로 엣지 서버 활성화 및 오프로딩 문제를 수립한다.
• 각기 다른 갱신 규칙을 가진 다양한 강화학습 기법—지수 학습, Q-학습, 적응 전략, 승리 유지-패배 이동, Roth-Erev 학습, 학습 기계, 초기 소수자 게임—을 적용한다.
• 지수 학습의 갱신 규칙은 $ p_a(t+1) = p_a(t) + \gamma U_{i,a}(1-p_a(t)) - \delta(1-U_{i,a})p_a(t) $ 로, 수익과 행동 결과에 따라 확률을 조정한다.
• 통신 없이도 이전의 보상과 결과에 기반해 행동 선택을 적응하는 확률적 학습 메커니즘을 사용하며, 다른 플레이어의 행동에 대한 지식이 필요하지 않다.
• 집합적 유틸리티의 역수인 변동성 기반 성능 지표를 도입하여, 낮은 변동성은 더 나은 시스템 조율과 높은 사회적 복지를 나타낸다.
• 사용자 경험은 작업이 사전 정의된 마감 시간 $ T $ 이내에 완료될 확률인 $ \Pr[\tau \leq T] $ 을 통해 평가한다.

실험 결과

연구 질문

• RQ1 소수자 게임으로 모델링된 분산형 MEC 오프로딩 시스템에서 어떤 강화학습 방법이 가장 높은 사회적 복지를 달성하는가?
• RQ2 전역 정보 없이 다양한 학습 규칙이 개인 서버 유틸리티와 시스템 조율에 어떤 영향을 미치는가?
• RQ3 학습 기반 전략은 MEC 네트워크에서 작업 완료 지연을 줄여 사용자 경험 품질(QoE)을 얼마나 향상시킬 수 있는가?
• RQ4 메모리 크기 $ s $ 와 시스템 파라미터 $ \alpha = 2^s / M $ 가 소수자 게임 프레임워크 내 학습 알고리즘 성능에 어떤 영향을 미치는가?
• RQ5 분산형 MEC 자원 할당에서 학습 복잡도, 수렴 속도, 시스템 효율성 간의 주요 설계 상충 관계는 무엇인가?

주요 결과

• 지수 학습은 변동성을 가장 낮게 유지(영에 가까운 수준)하여 모든 학습 방법 중에서 가장 높은 사회적 복지와 최고의 시스템 조율을 달성한다.
• 적응 전략, 승리 유지-패배 이동, Q-학습 방법은 집합적 유틸리티와 사용자 QoE 측면에서 초기 유도 학습 방법보다 뚜렷이 뛰어나다.
• 모든 고급 학습 방법은 서버들이 더 큰 소수자 집단을 형성하도록 해 자원 낭비를 줄이고 계산 자원 활용도를 향상시킨다.
• 지수 학습과 적응 전략 하에서 서버당 평균 유틸리티는 다른 플레이어의 행동에 대한 사전 지식 없이도 near-optimal 수준에 가까워진다.
• 지연 마감 시간 내에 작업이 완료될 확률 $ \Pr[\tau \leq T] $ 는 지수 학습과 적응 전략에서 크게 향상되어 사용자 경험 향상이 뚜렷하다.
• 수치 결과는 학습 기반 접근이 중심 제어 없이도 동적이고 무작위 네트워크 조건 하에서도 효율적 균형에 도달할 수 있음을 보여준다.