[論文レビュー] Optimal Policies for Status Update Generation in a Wireless System with Heterogeneous Traffic

George Stamatakis, Νικόλαος Παππάς+1 more|arXiv (Cornell University)|Oct 7, 2018

Age of Information Optimization参考文献 35被引用数 7

ひとこと要約

本稿では、非同一性トラフィックを有する無線システムにおける最適なステータス更新生成方策を、マーカフ連鎖過程（MDP）を用いて提案する。これにより、低価格帯IoTデバイスにおける情報の古さ（AoI）とキューイング遅延のトレードオフを扱う。従来のゼロウェイトおよびマックスサンプリング方策は、非AoI感受性トラフィックと再送信コストを無視しているため、最適でないことが示され、MDPに基づく最適方策は、多様なネットワーク環境において長期的なコストを顕著に低減することが明らかになった。

ABSTRACT

A large body of applications that involve monitoring, decision making, and forecasting require timely status updates for their efficient operation. Age of Information (AoI) is a newly proposed metric that effectively captures this requirement. Recent research on the subject has derived AoI optimal policies for the generation of status updates and AoI optimal packet queueing disciplines. Unlike previous research we focus on low-end devices that typically support monitoring applications in the context of the Internet of Things. We acknowledge that these devices host a diverse set of applications some of which are AoI sensitive while others are not. Furthermore, due to their limited computational resources they typically utilize a simple First-In First-Out (FIFO) queueing discipline. We consider the problem of optimally controlling the status update generation process for a system with a source-destination pair that communicates via a wireless link, whereby the source node is comprised of a FIFO queue and two applications, one that is AoI sensitive and one that is not. We formulate this problem as a dynamic programming problem and utilize the framework of Markov Decision Processes to derive optimal policies for the generation of status update packets. Due to the lack of comparable methods in the literature, we compare the derived optimal policies against baseline policies, such as the zero-wait policy, and investigate the performance of all policies for a variety of network configurations. Results indicate that existing status update policies fail to capture the trade-off between frequent generation of status updates and queueing delay and thus perform poorly.

研究の動機と目的

• 低価格帯IoTデバイスがAoI感受性および非AoI感受性アプリケーションを併用する状況における、タイムリーなステータス更新の課題に対処すること。
• FIFOキューイングシステムにおける、頻繁なステータス更新と非ステータストラフィックに起因するキューイング遅延のトレードオフをモデル化すること。
• AoIと送信メカニズムコストを組み合わせたコスト関数を最小化するステータス更新生成の最適制御方策を設計すること。
• 異なるネットワーク条件およびシステム制約下で、導出された方策の性能をベースライン方策と比較して評価すること。

提案手法

• 時間非一様コスト関数を有する有限区間のマーカフ連鎖過程（MDP）として、ステータス更新生成問題を定式化する。
• システム状態を、AoI、キュー長、保留中の再送信回数のタプルとしてモデル化し、ステータスおよび非ステータストラフィックの両方を捉える。
• AoIがしきい値を超えた場合にプリエンプティブ送信メカニズムを用いるペナルティを表すために、仮想コスト $ G_{\Delta_{\max}} $ を導入する。
• 動的プログラミングを用いてMDPを解き、期待無限区間コストを最小化する最適制御方策を導出する。
• 価値反復および方策反復アルゴリズムを用いて、異なるネットワークパrameter下での最適方策を計算する。
• 最大AoI（$ \Delta_{\max} $）に硬性制約を課し、これを超えた場合には一時的なプリエンプティブ送信モードを発動する。

実験結果

リサーチクエスチョン

• RQ1 FIFOキューイングシステムにおける非AoI感受性トラフィックの存在が、既存のステータス更新方策の最適性にどのように影響を与えるか？
• RQ2 AoI感受性および非AoI感受性トラフィックが単一のFIFOキューを共有し、再送信制限がある状況において、最適なステータス更新生成方策は何か？
• RQ3 チャネル成功率確率およびキュー容量の変化が、異なる更新方策の性能にどのように影響を与えるか？
• RQ4 プリエンプティブ送信メカニズムのコストが、最適な更新戦略にどの程度影響を与えるか？
• RQ5 MDPに基づく最適方策は、ゼロウェイトおよびマックスサンプリングといったベースライン方策と比較して、長期コストの観点で顕著に優れているか？

主な発見

• 非ステータストラフィックが多かったり、チャネルが不安定なシステムでは、ゼロウェイト方策はキューイング遅延と再送信コストを無視しているため、性能が著しく劣る。
• マックスサンプリング方策は、キュー長が増加するにつれて、待機時間の増加と高価なプリエンプティブメカニズムの頻繁な使用により、最適方策よりも著しく高いコストを発生する。
• $ G_{\Delta_{\max}} $ が高くなると、最適MDPベース方策は、ネバーサンプリング方策と比較して、期待無限区間コストを最大で1桁低減する。
• キュー長を4から8に増加させると、マックスサンプリング方策のコストは2倍以上に上昇し、状態依存待機時間の増加により、最適方策のコストも顕著に上昇する。
• $ \Delta_{\max} $ の制約を緩和（10から20に）すると、すべての方策のコストが顕著に低下し、厳しいAoI制約が高コストな運用をもたらすことが示された。
• ゼロウェイト方策はキュー長の変化に感受性がない。これは、制御行動がキューの空き状態にのみ依存するためであり、高負荷状況下ではロバストであるが、最適でない。