[논문 리뷰] Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning

Qiang Fan, Jianan Bai외 3명|arXiv (Cornell University)|2020. 04. 30.

IoT and Edge/Fog Computing참고 문헌 38인용 수 4

한 줄 요약

이 논문은 동적 조건과 QoS 제약 조건 하에서 작업 지연을 최소화하기 위해 액터-크리틱 강화학습을 사용하여 페그-지원 IoT 네트워크를 위한 지연 인지 온라인 자원 할당 알고리즘을 제안한다. 이 방법은 향후 정보가 필요 없이 실시간 시스템 상태에 동적으로 적응함으로써 기준 방법보다 상당히 낮은 작업 지연을 달성한다.

ABSTRACT

Fog nodes in the vicinity of IoT devices are promising to provision low latency services by offloading tasks from IoT devices to them. Mobile IoT is composed by mobile IoT devices such as vehicles, wearable devices and smartphones. Owing to the time-varying channel conditions, traffic loads and computing loads, it is challenging to improve the quality of service (QoS) of mobile IoT devices. As task delay consists of both the transmission delay and computing delay, we investigate the resource allocation (i.e., including both radio resource and computation resource) in both the wireless channel and fog node to minimize the delay of all tasks while their QoS constraints are satisfied. We formulate the resource allocation problem into an integer non-linear problem, where both the radio resource and computation resource are taken into account. As IoT tasks are dynamic, the resource allocation for different tasks are coupled with each other and the future information is impractical to be obtained. Therefore, we design an on-line reinforcement learning algorithm to make the sub-optimal decision in real time based on the system's experience replay data. The performance of the designed algorithm has been demonstrated by extensive simulation results.

연구 동기 및 목표

• 동적 작업 도착과 시간에 따라 변하는 네트워크 조건이 존재하는 모바일 IoT 네트워크에서 작업 지연을 최소화하는 문제를 해결하기 위해.
• 지연이 전송 및 계산 구성 요소에 모두 의존하는 QoS 제약 조건 하에서 무선 및 계산 자원 할당을 병렬 최적화하기 위해.
• 미래 네트워크 정보가 없이 현재 상태 관측치에만 의존하는 온라인 학습 알고리즘을 설계하기 위해.
• 페그-컴퓨팅 환경에서 엔드 투 엔드 작업 지연을 향상시키기 위해 자원 할당을 동적으로 실시간으로 적응시키기 위해.
• 다양한 워크로드와 시스템 조건에서 고정 할당 기준 방법에 비해 제안된 방법의 우수성을 입증하기 위해.

제안 방법

• QoS 제약 조건 하에서 무선 및 계산 자원 할당 문제를 정수 비선형 프로그래밍 문제로 수식화한다.
• 경험 재생 데이터에서 경험을 통해 최적의 자원 할당 정책을 학습하기 위해 액터-크리틱 딥 강화학습 프레임워크를 활용한다.
• 현재 채널 상태, 작업 데이터 크기, 계산 강도 및 가용 시스템 자원을 포함한 상태 표현을 사용한다.
• 에이전트는 총 지연을 최소화하면서 지연 제약 조건을 충족시키기 위해 각 작업에 대한 대역폭과 계산 할당을 균형 있게 조정하도록 학습한다.
• 알고리즘은 실시간으로 작동하며, 미래 예측이 필요 없이 즉각적인 피드백과 시스템 동적 특성에 기반해 정책을 업데이트한다.
• 비정적 환경에서 학습 안정성과 수렴 성능 향상을 위해 경험 재생과 타겟 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 동적이고 불확실한 조건 하에서 페그-지원 IoT 네트워크에서 무선 및 계산 자원 할당을 병합 최적화하여 작업 지연을 최소화할 수 있는 방법은 무엇인가?
• RQ2 QoS 제약 조건이 무선 및 계산 자원 할당 결정 간의 결합에 미치는 영향은 무엇인가?
• RQ3 제안된 온라인 강화학습 방법은 고정 할당 기준 방법에 비해 작업 지연 성능에서 어떻게 비교되는가?
• RQ4 어떤 시스템 조건(예: 높은 데이터 크기, 높은 계산 부하)에서 제안된 방법이 가장 큰 이점을 보이는가?
• RQ5 액터-크리틱 강화학습 접근법은 향후 정보 없이 실시간으로 최적화되지 않은 정책을 효과적으로 학습할 수 있는가?

주요 결과

• 제안된 온라인 강화학습 알고리즘(ORA)은 모든 테스트 시나리오에서 전송 전용 및 계산 전용 기준 방법보다 뚜렷이 낮은 작업 지연을 일관되게 달성한다.
• 평균 데이터 크기가 증가함에 따라 ORA는 무선 및 계산 자원을 동적으로 조정함으로써 지연을 낮게 유지하지만, 기준 방법은 전송 또는 계산 쪽에서 버티브레이크 지연을 겪는다.
• 저도 계산 강도에서는 전송 지연이 지배적이며, ORA는 동적 무선 할당 덕분에 계산 전용 방법보다 뛰어나다. 고도 계산 강도에서는 ORA가 적응형 계산 할당 덕분에 전송 전용 방법보다 뛰어나다.
• 워크로드가 증가함에 따라 계산 전용 방법은 고정된 무선 자원으로 인해 ORA보다 더 빨리 성능이 저하되며, 전송 전용 방법은 고부하에서 고정된 계산 자원으로 인해 성능 저하를 겪는다.
• 시스템 부하가 증가함에 따라 ORA와 기준 방법 간의 성능 격차가 커지며, 이는 ORA가 고동적 환경에서 뛰어난 강건성을 보임을 입증한다.
• 광범위한 시뮬레이션을 통해 ORA가 QoS 제약 조건 하에서 실시간으로 자원 할당을 효과적으로 균형 잡고, 전송 지연과 계산 지연 간 최적의 트레이드오프를 달성함을 확인했다.