[論文レビュー] Learning Aided Optimization for Energy Harvesting Devices with Outdated State Information

Hao Yu, Michael J. Neely|arXiv (Cornell University)|Jan 10, 2018

Energy Harvesting in Wireless Networks参考文献 35被引用数 3

ひとこと要約

本稿では、現在のシステム状態やその確率分布が未知である状況下で、古くなったシステム状態情報と組み合わせて動作するエネルギーハーベスティングデバイス向けの学習支援型パワー制御アルゴリズムを提案する。オンライン勾配学習とドリフトプラスペナルティ最適化を統合することで、バッテリーサイズ $O(1/\epsilon)$ を用いて $O(\epsilon)$ の最適性の近傍で性能を達成し、収束時間は $O(1/\epsilon^2)$ となる。これにより、リアルタイムの状態知識や確率分布の仮定を必要とせず、低複雑性かつ適応的制御が可能となる。

ABSTRACT

This paper considers utility optimal power control for energy harvesting wireless devices with a finite capacity battery. The distribution information of the underlying wireless environment and harvestable energy is unknown and only outdated system state information is known at the device controller. This scenario shares similarity with Lyapunov opportunistic optimization and online learning but is different from both. By a novel combination of Zinkevich's online gradient learning technique and the drift-plus-penalty technique from Lyapunov opportunistic optimization, this paper proposes a learning-aided algorithm that achieves utility within $O(ε)$ of the optimal, for any desired $ε>0$, by using a battery with an $O(1/ε)$ capacity. The proposed algorithm has low complexity and makes power investment decisions based on system history, without requiring knowledge of the system state or its probability distribution.

研究の動機と目的

• 現在のシステム状態およびその分布が未知である状況下で、エネルギーハーベスティングデバイスにおけるユーティリティ最適制御を実現すること。
• 現在の状態情報が得られない状況でも、過去の状態データのみを用いて動作する低複雑性の制御方策を設計すること。
• 完全な状態知識やi.i.d.仮定を必要とする従来手法のギャップを埋め、特に非定常的で変動しやすい環境下でも有効であることを示すこと。
• ユーティリティ最適性とバッテリーサイズの理論的トレードオフを確立し、$O(1/\epsilon)$ のバッテリーサイズで $O(\epsilon)$ の最適性が達成可能であることを示すこと。

提案手法

• Zinkevichのオンライン勾配学習と、Lyapunov最適化におけるドリフトプラスペナルティ（DPP）フレームワークを統合し、時間変動する制約と未知の分布に対処する。
• 各時刻 $t$ における制約集合 $\mathcal{P}(t)$ を用い、バッテリー残量 $E[t]$ に制限されたパワー使用を保証することで、エネルギー因果性を確保する。
• パワー更新則には双対変数 $Q[t]$ とペナルティパラメータ $V$ を組み込み、ユーティリティ最大化とバッテリー安定性のバランスを取る。
• 各時刻における実行可能領域への射影ステップにより、エネルギー不足時でもパワーベクトル $\mathbf{p}[t]$ が有効領域内に保たれるようにする。
• 過去のシステム状態を用いた勾配更新の修正により、観測遅延に対しても性能保証を維持する。
• 状態の時間変動をマルコフ連鎖でモデル化することで、非i.i.d.状態プロセスに対しても同様の性能トレードオフを維持する。

実験結果

リサーチクエスチョン

• RQ1 過去の状態情報のみが利用可能で、システムの確率分布が未知である状況下でも、学習支援型アルゴリズムが近最適なユーティリティを達成できるか。
• RQ2 このようなシステムにおけるユーティリティ最適性とバッテリーサイズの根本的トレードオフは何か。
• RQ3 観測遅延が、エネルギーハーベスティングデバイスにおけるオンライン学習ベースのパワー制御の収束性および性能に与える影響は何か。
• RQ4 提案手法は、単純な射影またはエネルギー制約下での古くなったユーティリティ最大化を用いるベースライン手法を上回る性能を示せるか。
• RQ5 マルコフ変調チャネルのような非i.i.d.システム状態プロセス下でも、性能保証は成立するか。

主な発見

• 提案手法は、任意の $\epsilon > 0$ に対して、最適ユーティリティから $O(\epsilon)$ の差異で性能を達成し、未知のシステムダイナミクス下でも近最適性を示す。
• $O(1/\epsilon)$ のバッテリーサイズで $O(\epsilon)$ の最適性が達成可能であり、性能とハードウェアコストのタイトなトレードオフを確立する。
• アルゴリズムの収束時間は $O(1/\epsilon^2)$ であり、望ましい精度 $\epsilon$ に対して多項式的であるため、実用的な収束が保証される。
• シミュレーション結果から、2つのベースライン（射影付きオンライン勾配学習と古くなったユーティリティ最大化）を上回る性能を示す。
• 最大10スロットの観測遅延が加わっても、長期的な性能にほとんど影響を及ぼさず、フィードバック遅延に対して高いロバスト性を示す。