[논문 리뷰] Optimal Policies for Status Update Generation in a Wireless System with Heterogeneous Traffic

George Stamatakis, Νικόλαος Παππάς외 1명|arXiv (Cornell University)|2018. 10. 07.

Age of Information Optimization참고 문헌 35인용 수 7

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)를 사용하여 이질적인 트래픽을 가진 무선 시스템에서 최적의 상태 업데이트 생성 정책을 제안하며, 저성능 IoT 기기에서 정보의 나이(AoI)와 큐잉 지연 간의 트레이드오프를 다룹니다. 기존 정책인 웨이트 없는 정책과 최대 샘플링 정책이 비-AoI 민감성 트래픽과 재전송 비용을 간과함으로써 최적이 아니라는 점을 보여주며, MDP 기반 최적 정책은 다양한 네트워크 조건에서 장기적인 비용을 크게 감소시킵니다.

ABSTRACT

A large body of applications that involve monitoring, decision making, and forecasting require timely status updates for their efficient operation. Age of Information (AoI) is a newly proposed metric that effectively captures this requirement. Recent research on the subject has derived AoI optimal policies for the generation of status updates and AoI optimal packet queueing disciplines. Unlike previous research we focus on low-end devices that typically support monitoring applications in the context of the Internet of Things. We acknowledge that these devices host a diverse set of applications some of which are AoI sensitive while others are not. Furthermore, due to their limited computational resources they typically utilize a simple First-In First-Out (FIFO) queueing discipline. We consider the problem of optimally controlling the status update generation process for a system with a source-destination pair that communicates via a wireless link, whereby the source node is comprised of a FIFO queue and two applications, one that is AoI sensitive and one that is not. We formulate this problem as a dynamic programming problem and utilize the framework of Markov Decision Processes to derive optimal policies for the generation of status update packets. Due to the lack of comparable methods in the literature, we compare the derived optimal policies against baseline policies, such as the zero-wait policy, and investigate the performance of all policies for a variety of network configurations. Results indicate that existing status update policies fail to capture the trade-off between frequent generation of status updates and queueing delay and thus perform poorly.

연구 동기 및 목표

• 저성능 IoT 기기에서 AoI 민감성 및 비-AoI 민감성 응용을 모두 지원하는 시스템에서 시기적절한 상태 업데이트를 제공하는 도전 과제를 해결하기 위해.
• FIFO 큐잉 시스템에서 비상태 트래픽으로 인한 큐잉 지연과 빈번한 상태 업데이트 사이의 트레이드오프를 모델링하기 위해.
• AoI와 전송 메커니즘 비용을 조합한 비용 함수를 최소화하는 상태 업데이트 생성을 위한 최적 제어 정책을 설계하기 위해.
• 다양한 네트워크 조건과 시스템 제약 조건 하에서 유도된 정책의 성능을 기준 정책과 비교 평가하기 위해.

제안 방법

• 시간에 따라 변화하는 비용 함수를 가진 유한 수평의 마르코프 결정 과정(MDP)으로 상태 업데이트 생성 문제를 수립합니다.
• 시스템 상태를 AoI, 큐 길이, 보류 중인 재전송 횟수의 튜플로 모델링하여 상태 트래픽과 비상태 트래픽을 모두 반영합니다.
• AoI가 임계값을 초과할 경우 우선순위 전송 메커니즘을 사용할 경우의 벌점으로 가상의 비용 $ G_{\Delta_{\max}} $ 를 도입합니다.
• 동적 프rogram밍을 사용하여 MDP를 해결하고, 무한 수평 비용의 기대값을 최소화하는 최적 제어 정책을 유도합니다.
• 가치 반복 및 정책 반복 알고리즘을 적용하여 다양한 네트워크 파rameter 하에서 최적 정책을 계산합니다.
• 최대 AoI($ \Delta_{\max} $)에 하드 제약 조건을 두고, 이를 위반할 경우 일시적인 우선순위 전송 모드를 활성화합니다.

실험 결과

연구 질문

• RQ1 FIFO 큐잉 무선 시스템에서 비-AoI 민감성 트래픽 존재가 기존 상태 업데이트 정책의 최적성에 어떤 영향을 미치는가?
• RQ2 재전송 횟수 제한이 있는 단일 FIFO 큐에서 AoI 민감성 및 비-AoI 민감성 트래픽이 공유할 경우, 상태 업데이트 생성을 위한 최적 정책은 무엇인가?
• RQ3 채널 성공 확률과 큐 크기가 다양한 업데이트 정책의 성능에 어떤 영향을 미치는가?
• RQ4 우선순위 전송 메커니즘 사용 비용이 최적 업데이트 전략에 미치는 영향은 어느 정도인가?
• RQ5 MDP 기반 최적 정책이 장기 비용 측면에서 웨이트 없는 정책과 최대 샘플링 정책을 상당히 능가할 수 있는가?

주요 결과

• 비상태 트래픽이 많거나 채널이 불안정한 시스템에서는 웨이트 없는 정책이 큐잉 지연과 재전송 비용을 간과하기 때문에 성능이 열악합니다.
• 최대 샘플링 정책은 큐 크기가 증가함에 따라 기대 비용이 상당히 증가하며, 이는 기다림 시간 증가와 비용이 많이 드는 우선순위 전송 메커니즘의 빈번한 사용으로 인해 발생합니다.
• 비용 함수 $ G_{\Delta_{\max}} $ 가 높을 경우, 최적의 MDP 기반 정책은 웨이트 없는 정책 대비 기대 무한 수평 비용을 최대 한 단계 감소시킵니다.
• 큐 크기를 4에서 8로 늘릴 경우 최대 샘플링 정책의 비용이 2배 이상 증가하고, 상태에 따라 달라지는 대기 시간 증가로 인해 최적 정책의 비용도 상당히 증가합니다.
• 최대 AoI 제약 조건 $ \Delta_{\max} $ 를 완화하면(10에서 20으로), 모든 정책의 비용이 상당히 감소하여, 더 엄격한 AoI 제약 조건일수록 운영 비용이 더 높다는 것을 시사합니다.
• 웨이트 없는 정책는 큐 길이 변화에 민감하지 않으며, 제어 동작이 큐가 비어 있는지 여부에만 의존하기 때문에 고부하 환경에서 비록 강건하지만 최적이 아닙니다.