[논문 리뷰] Computation Offloading in Beyond 5G Networks: A Distributed Learning Framework and Applications

Xianfu Chen, Celimuge Wu외 3명|arXiv (Cornell University)|2020. 07. 15.

IoT and Edge/Fog Computing참고 문헌 13인용 수 4

한 줄 요약

이 논문은 베이 beyond 5G 네트워크에서 계산 오프로딩을 위한 분산 강화학습 프레임워크를 제안하며, 문제를 다중 에이전트 마르코프 결정 과정(MADP)으로 모델링하여 자율적이고 확장 가능한 의사결정을 가능하게 한다. 제안된 온라인 딥 강화학습 알고리즘은 채널 및 큐 인식 기준 전략보다 뛰어난 평균 유틸리티 성능을 달성하며, 동적 트래픽 부하 하에서 약 13,000개의 타임스텝 내에서 수렴함을 관찰하였다.

ABSTRACT

Facing the trend of merging wireless communications and multi-access edge computing (MEC), this article studies computation offloading in the beyond fifth-generation networks. To address the technical challenges originating from the uncertainties and the sharing of limited resource in an MEC system, we formulate the computation offloading problem as a multi-agent Markov decision process, for which a distributed learning framework is proposed. We present a case study on resource orchestration in computation offloading to showcase the potentials of an online distributed reinforcement learning algorithm developed under the proposed framework. Experimental results demonstrate that our learning algorithm outperforms the benchmark resource orchestration algorithms. Furthermore, we outline the research directions worth in-depth investigation to minimize the time cost, which is one of the main practical issues that prevent the implementation of the proposed distributed learning framework.

연구 동기 및 목표

• 초기 5G 다중접근 엣지 컴퓨팅(MEC) 시스템에서의 동적 자원 공유 및 불확실성 도전 과제를 해결하기 위해.
• 중앙 집중식 조율 없이도 다수의 모바일 터미널(MTs) 간에 확장 가능하고 자율적인 계산 오프로딩 의사결정을 가능하게 하기 위해.
• 실시간 네트워크 상태 및 워크로드 변화에 대응할 수 있는 실시간 적응을 지원하는 분산 학습 프레임워크를 개발하기 위해.
• 자원 오케스트레이션에서 높은 성능을 유지하면서 학습의 시간 비용을 최소화하기 위해.

제안 방법

• MTs 간의 상호의존적 의사결정을 모델링하기 위해 계산 오프로딩 문제를 다중 에이전트 마르코프 결정 과정(MADP)으로 수식화하기.
• 각 MT가 로컬 관측치와 맥락 정보만을 사용하는 분산 학습 프레임워크 설계하기.
• 실시간 피드백(보상) 기반으로 오프로딩 결정을 동적으로 최적화하기 위해 온라인 딥 강화학습 알고리즘 구현하기.
• 정책 추상화를 향상시키고 학습의 불안정성을 줄이기 위해 지도학습 구성 요소 통합하기.
• 딥 강화학습 구성 요소에서 학습을 안정화하기 위해 경험 재생 및 타겟 네트워크 활용하기.
• 실시간에서 고차원 상태-행동 공간을 처리하기 위해 딥 신경망을 통한 함수 근사 적용하기.

실험 결과

연구 질문

• RQ1 동적이고 공유되는 자원 제약 조건 하에서 베이온 5G 네트워크에서 계산 오프로딩은 어떻게 최적화될 수 있는가?
• RQ2 다중 에이전트 MEC 환경에서 탈중앙화된 의사결정은 시스템의 확장성과 성능에 어떤 영향을 미치는가?
• RQ3 온라인 분산 강화학습은 실시간 오프로딩에서 중심 집중형 또는 히وري스틱 기반 벤치마크보다 더 뛰어난 유틸리티를 달성할 수 있는가?
• RQ4 온라인 학습의 수렴 시간은 대규모 MEC 시스템에 실용적으로 구현할 때 어떤 영향을 미치는가?
• RQ5 분산 오프로딩 프레임워크에서 학습을 가속화하고 시간 비용을 줄이기 위한 기법은 무엇인가?

주요 결과

• 제안된 온라인 딥 RL 알고리즘은 학습 과정에서 약 13,000개의 타임스텝 내에서 수렴함을 확인하였다.
• 알고리즘은 채널 인식 및 큐 인식 기준 알고리즘 모두보다 유의미하게 뛰어난 평균 유틸리티 성능을 달성하였다.
• 트래픽 부하가 증가함에 따라, 알고리즘은 더 높은 로컬 CPU 에너지 소비에도 불구하고 채널 인식 접근 방식보다 패킷 손실을 더 효과적으로 줄였다.
• 다양한 데이터 도착률 하에서 알고리즘은 채널 인식 기준 대비 더 낮은 평균 큐 길이와 더 적은 패킷 손실을 유지하였다.
• 프레임워크는 상호 에이전트 간 통신이나 중앙 집중식 조율 없이도 자율적이고 확장 가능한 의사결정을 가능하게 하였다.
• 연구는 오프-폴리시 학습과 전이 학습이 실용적 구현에서 학습 시간을 단축하고 수렴을 가속화하는 핵심 요소임을 규명하였다.