[논문 리뷰] The state-of-the-art review on resource allocation problem using artificial intelligence methods on various computing paradigms

Javad Hassannataj Joloudari, Sanaz Mojrian외 8명|arXiv (Cornell University)|2022. 03. 23.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 클라우드, 퍼그, IoT, 5G 및 차량 네트워크를 포함한 다양한 계산 환경에서 인공지능(AI) 기반 자원 할당에 대한 종합적인 최신 기술 검토를 제시한다. 딥 러닝과 강화 학습 기법—예를 들어 딥 Q-학습과 Q-학습—을 중심으로 지연, 에너지 소비 및 비용과 같은 핵심 성능 지표를 최적화함으로써 분산 환경에서 시스템 효율성과 확장성 향상에 AI의 효과성을 입증한다.

ABSTRACT

With the increasing growth of information through smart devices, increasing the quality level of human life requires various computational paradigms presentation including the Internet of Things, fog, and cloud. Between these three paradigms, the cloud computing paradigm as an emerging technology adds cloud layer services to the edge of the network so that resource allocation operations occur close to the end-user to reduce resource processing time and network traffic overhead. Hence, the resource allocation problem for its providers in terms of presenting a suitable platform, by using computational paradigms is considered a challenge. In general, resource allocation approaches are divided into two methods, including auction-based methods(goal, increase profits for service providers-increase user satisfaction and usability) and optimization-based methods(energy, cost, network exploitation, Runtime, reduction of time delay). In this paper, according to the latest scientific achievements, a comprehensive literature study (CLS) on artificial intelligence methods based on resource allocation optimization without considering auction-based methods in various computing environments are provided such as cloud computing, Vehicular Fog Computing, wireless, IoT, vehicular networks, 5G networks, vehicular cloud architecture,machine-to-machine communication(M2M),Train-to-Train(T2T) communication network, Peer-to-Peer(P2P) network. Since deep learning methods based on artificial intelligence are used as the most important methods in resource allocation problems; Therefore, in this paper, resource allocation approaches based on deep learning are also used in the mentioned computational environments such as deep reinforcement learning, Q-learning technique, reinforcement learning, online learning, and also Classical learning methods such as Bayesian learning, Cummins clustering, Markov decision process.

연구 동기 및 목표

• 클라우드, 퍼그, IoT 및 5G 네트워크와 같은 이종 계산 환경에서 AI 기반 자원 할당의 최신 발전을 분석하기 위해.
• 동적이고 분산된 워크로드 하에서 자원 할당을 최적화하기 위해 딥 러닝 및 강화 학습 방법의 효과성을 평가하기 위해.
• 신속한 계산 환경에서 지연, 에너지 효율성 및 네트워크 오버헤드와 같은 자원 할당의 주요 과제를 특정하기 위해.
• 클래식한 방법인 베이지안 학습 및 마르코프 결정 과정과 비교하여 딥 강화 학습 및 Q-학습과 같은 AI 기법의 체계적 비교를 제공하기 위해.
• 최신 기법을 통합하고 현재 방법론의 격차를 부각시킴으로써 향후 연구의 기초를 마련하기 위해.

제안 방법

• 다양한 계산 환경에서 입찰 기반 방법을 제외한 AI 기반 자원 할당에 대한 종합적인 문헌 연구(MLS)를 수행한다.
• 특히 딥 강화 학습(DRL), Q-학습 및 온라인 학습을 포함한 딥 러닝 기반 접근법에 중점을 두어 동적이고 적응형 자원 할당을 분석한다.
• 시간에 따라 변화하는 환경에서 자원 할당에 적합한 고전적 학습 방법—예를 들어 베이지안 학습, 커민스 클러스터링 및 마르코프 결정 과정(MDPs)—을 평가한다.
• 차량 기반 퍼그 컴퓨팅, 머신투머신(M2M) 통신 및 피어 투 피어(P2P) 네트워크를 포함한 다양한 환경에서 AI 기법의 통합을 분석한다.
• AI 및 비-AI 방법 간의 처리 지연, 에너지 소비, 비용 및 네트워크 활용도와 같은 성능 지표를 비교한다.
• 최적화 목표—지연 최소화, 에너지 소비 감소 및 분산형 및 엣지 중심 아키텍처에서의 비용 효율성 향상—기반으로 리뷰를 체계화한다.

실험 결과

연구 질문

• RQ1 딥 강화 학습 및 Q-학습 기법은 클라우드 및 퍼그 컴퓨팅 환경에서 자원 할당 효율성을 어떻게 향상시키는가?
• RQ2 동적 네트워크 환경에서 마르코프 결정 과정과 같은 고전적 방법에 비해 딥 Q-학습과 같은 AI 기반 방법의 상대적 이점은 무엇인가?
• RQ3 AI 기반 자원 할당 전략은 5G, IoT 및 차량 네트워크에서 지연과 에너지 소비를 어떻게 줄이는가?
• RQ4 온라인 학습 및 적응형 학습 메커니즘은 분산형 및 모바일 컴퓨팅 환경에서 실시간 자원 할당을 어떻게 향상시키는가?
• RQ5 P2P, T2T 및 M2M 네트워크와 같은 다양한 계산 모델에서 AI 기반 자원 할당의 주요 성능 트레이드오��� 및 제약은 무엇인가?

주요 결과

• 딥 강화 학습 및 Q-학습 기법은 클라우드 및 퍼그 컴퓨팅 환경에서 처리 지연을 크게 감소시키고 자원 활용도를 향상시킨다.
• AI 기반 방법은 차량 및 IoT 시스템과 같은 동적이고 변동성이 큰 네트워크에서 베이지안 학습 및 커민스 클러스터링과 같은 고전적 방법보다 뛰어난 성능을 보인다.
• 자원 할당에 딥 러닝을 통합함으로써 5G 및 M2M 통신 네트워크에서 에너지 소비와 네트워크 오버헤드가 유의미하게 감소한다.
• 온라인 학습 및 적응형 AI 모델은 피어 투 피어 및 열차 간 통신 네트워크와 같은 실시간 환경에서 뛰어난 확장성과 반응성을 보인다.
• 강화 학습 기반 시스템은 변화하는 워크로드 및 네트워크 조건에 동적으로 대응함으로써 더 높은 사용자 만족도와 시스템 안정성을 달성한다.
• 이 연구는 AI 기반 최적화 방법이 이종 컴퓨팅 인프라에서 런타임을 최소화하고 비용 효율성을 향상시키는 데 특히 효과적임을 확인한다.