[논문 리뷰] Learning Aided Optimization for Energy Harvesting Devices with Outdated State Information

Hao Yu, Michael J. Neely|arXiv (Cornell University)|2018. 01. 10.

Energy Harvesting in Wireless Networks참고 문헌 35인용 수 3

한 줄 요약

이 논문은 현재 시스템 상태와 그 확률 분포를 알 수 없는 에너지 수확 장치를 위한 학습 기반 전력 제어 알고리즘을 제안한다. 온라인 기울기 학습과 드리프트 플러스 페널티 최적화를 융합함으로써, 배터리 용량이 $O(1/ au)$일 때 $O(\epsilon)$ 이내의 최적성에 도달하며 수렴 시간은 $O(1/\epsilon^2)$이 되어 실시간 상태 지식이나 분포 가정 없이도 저복잡도이고 적응형 제어를 가능하게 한다.

ABSTRACT

This paper considers utility optimal power control for energy harvesting wireless devices with a finite capacity battery. The distribution information of the underlying wireless environment and harvestable energy is unknown and only outdated system state information is known at the device controller. This scenario shares similarity with Lyapunov opportunistic optimization and online learning but is different from both. By a novel combination of Zinkevich's online gradient learning technique and the drift-plus-penalty technique from Lyapunov opportunistic optimization, this paper proposes a learning-aided algorithm that achieves utility within $O(ε)$ of the optimal, for any desired $ε>0$, by using a battery with an $O(1/ε)$ capacity. The proposed algorithm has low complexity and makes power investment decisions based on system history, without requiring knowledge of the system state or its probability distribution.

연구 동기 및 목표

• 현재 시스템 상태와 그 분포를 알 수 없을 때 유틸리티 최적의 전력 제어 문제를 해결하기 위해.
• 실시간 상태 지식 없이 과거 상태 정보와 역사적 데이터만을 사용하는 저복잡도 제어 정책을 설계하기 위해.
• 기존 방법들이 완전한 상태 지식이나 i.i.d. 가정을 요구하는 점을 보완하고, 특히 비스테이셔너리 환경에서의 성능 격차를 해소하기 위해.
• 유틸리티 최적성과 배터리 크기 사이의 이론적 성능 트레이드오프를 규명하여, $O(\epsilon)$의 최적성은 $O(1/\epsilon)$의 배터리 용량으로 달성 가능함을 보여주기 위해.

제안 방법

• 알고리즘은 Zinkevich의 온라인 기울기 학습과 Lyapunov 최적화에서 유래한 드리프트 플러스 페널티(DPP) 프레임워크를 융합하여 시간에 따라 변하는 제약 조건과 알려지지 않은 분포를 다룬다.
• 전력 사용을 현재 배터리 수준 $E[t]$로 제한하는 시간에 따라 변하는 제약 조건 집합 $\mathcal{P}(t)$를 사용하여 에너지 인과성(energy causality)을 보장한다.
• 전력 업데이트 규칙은 이중 변수 $Q[t]$와 페널티 파라미터 $V$를 포함하며, 유틸리티 최적화와 배터리 안정성 간의 균형을 맞춘다.
• 투영 단계를 통해 에너지가 부족한 경우에도 각 슬롯에서 전력 벡터 $\mathbf{p}[t]$가 타당한 범위 내에 유지되도록 보장한다.
• 지연된 상태 관측을 처리하기 위해 기울기 업데이트를 과거 시스템 상태를 사용하도록 수정함으로써 성능 보장을 유지한다.
• 상태의 시간 변화를 마코프 체인으로 모델링하여 비-i.i.d. 시스템 상태로의 확장을 도모하며, 동일한 성능 트레이드오프를 유지한다.

실험 결과

연구 질문

• RQ1 과거 상태 정보만 있고 배경 분포가 알려지지 않은 상황에서 학습 기반 알고리즘이 에너지 수확 시스템에서 근사 최적의 유틸리티를 달성할 수 있는가?
• RQ2 이러한 시스템에서 유틸리티 최적성과 배터리 용량 사이의 근본적인 트레이드오프는 무엇인가?
• RQ3 관측 지연은 에너지 수확 장치의 온라인 학습 기반 전력 제어의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘은 에너지 제약 조건 하에서 단순 투영 또는 과거 유틸리티 최적화를 사용하는 기준선 방법보다 성능이 뛰어나게 작동하는가?
• RQ5 마코프 조절 채널과 같은 비-i.i.i.d. 시스템 상태 과정에서도 성능 보장이 유지되는가?

주요 결과

• 제안된 알고리즘은 임의의 $\epsilon > 0$에 대해 최적 유틸리티에서 $O(\epsilon)$ 이내의 유틸리티를 달성하여, 알려지지 않은 시스템 동역학 조건에서도 근사 최적성을 입증한다.
• 배터리 용량이 $O(1/\epsilon)$이면 $O(\epsilon)$의 최적성 달성이 가능하며, 성능과 하드웨어 비용 사이의 날카로운 트레이드오프를 확립한다.
• 알고리즘의 수렴 시간은 $O(1/\epsilon^2)$이며, 이는 원하는 정확도 $\epsilon$에 대해 다항식적으로 증가하므로 실용적인 수렴을 보장한다.
• 시뮬레이션 결과는 알고리즘이 두 기준선 방법—일반화된 온라인 기울기 학습을 사용하는 방법과 과거 유틸리티 최적화를 사용하는 방법—을 모두 능가함을 보여준다.
• 관측 지연이 최대 10 슬롯까지 있어도 장기적인 성능에 미미한 영향을 미치며, 지연 피드백에 대한 강건성을 확인한다.