[논문 리뷰] Optimizing the Long-Term Average Reward for Continuing MDPs: A Technical Report

Chao Xu, Yiping Xie외 4명|arXiv (Cornell University)|2021. 04. 13.

Age of Information Optimization참고 문헌 15인용 수 5

한 줄 요약

이 논문은 계속되는 마르코프 결정 과정(continuing MDPs)에서 장기 평균 보상을 최적화하기 위해 기존의 할인 누적 보상 설계된 표준 DRL 알고리즘의 한계를 극복하기 위해 R-학습과 함수 근사 기법을 통합한 새로운 딥 강화학습(DRL) 프레임워크를 제안한다. 이 방법은 특수 상태나 조건 기반 업데이트를 요구하지 않으며, 실험을 통해 우수한 수렴성과 감소된 분산을 입증하여 안정적이고 고성능의 학습을 달성한다.

ABSTRACT

Recently, we have struck the balance between the information freshness, in terms of age of information (AoI), experienced by users and energy consumed by sensors, by appropriately activating sensors to update their current status in caching enabled Internet of Things (IoT) networks [1]. To solve this problem, we cast the corresponding status update procedure as a continuing Markov Decision Process (MDP) (i.e., without termination states), where the number of state-action pairs increases exponentially with respect to the number of considered sensors and users. Moreover, to circumvent the curse of dimensionality, we have established a methodology for designing deep reinforcement learning (DRL) algorithms to maximize (resp. minimize) the average reward (resp. cost), by integrating R-learning, a tabular reinforcement learning (RL) algorithm tailored for maximizing the long-term average reward, and traditional DRL algorithms, initially developed to optimize the discounted long-term cumulative reward rather than the average one. In this technical report, we would present detailed discussions on the technical contributions of this methodology.

연구 동기 및 목표

• 기존의 할인 누적 보상 설계된 DRL 알고리즘이 기본 이론적 차이로 인해 장기 평균 보상을 최적화하기에 부적합한 계속되는 MDPs에서 장기 평균 보상을 최적화하는 과제를 해결한다.
• 많은 센서와 사용자가 포함된 대규모 IoT 네트워크에서 차원의 저주를 극복하기 위해 확장 가능하고 함수 근사 기반 학습이 가능한 방법을 제공한다.
• 종료 상태나 특수 상태 선택에 의존하지 않으면서도 안정성과 수렴성을 유지하면서 평균 보상을 최대화하는 DRL 프레임워크를 개발한다.
• 타겟 네트워크를 사용한 효율적이고 배치 기반의 평균 보상 업데이트를 위해 기본 R-학습을 수정함으로써 딥 신경망과의 호환성을 확보한다.
• 지속적이고 종료되지 않는 환경에서 평균 보상 작업을 위한 기존 DRL 알고리즘에 이론적으로 타당하고 경험적으로 안정적인 대안을 제공한다.

제안 방법

• 고차원 상태-행동 공간에 적용 가능한 확장성을 확보하기 위해, 평균 보상 최대화를 위해 설계된 표본 기반 강화학습 알고리즘인 R-학습과 딥 Q-네트워크를 통합한다.
• 할인 인자가 없는 상태에서 가치 함수와 벨먼 최적성 방정식을 재설계하여 평균 보상 학습에 대해 유한하고 의미 있는 업데이트를 보장한다.
• 변화하는 목표값을 추적하는 데 기인한 불안정성 방지를 위해 업데이트 빈도가 낮은 타겟 네트워크를 도입하여 평균 보상 업데이트 과정의 안정성을 높인다.
• 기본 R-학습에서만 탐욕적 행동이 선택될 경우에만 평균 보상 업데이트를 수행하는 조건 기반 업데이트를 배치 기반 업데이트로 대체하여 데이터 효율성과 학습 안정성을 향상시킨다.
• DRL 학습에서의 타겟 값 계산을 평균 보상 목표에 맞게 재구성하여 손실 함수에 업데이트된 R-학습 동역학을 통합한다.
• 행동 가치 함수(R(s,a))와 평균 보상 추정(Ũ(k))에 대해 별도의 학습률 메커니즘을 도입하여 별개의 수렴 동역학을 보장한다.

실험 결과

연구 질문

• RQ1 계속되는 MDPs에서 할인된 장기 누적 보상 최대화와 장기 평균 보상 최대화 사이에는 근본적인 이론적 차이가 존재하는 이유는 무엇인가?
• RQ2 왜 R-학습은 평균 보상 설정에서 딥 강화학습과 통합할 때 RVI Q-학습보다 이론적으로나 실용적으로 더 적합한가?
• RQ3 기본 R-학습을 고차원 공간에서 딥 신경망 기반 함수 근사와 호환되도록 수정하는 방법은 무엇인가?
• RQ4 DRL 기반 평균 보상 학습에서 안정성과 데이터 효율성을 확보하기 위해 평균 보상 업데이트 규칙에 어떤 수정이 필요한가?
• RQ5 제안된 R-학습 기반 DRL 프레임워크는 특수 상태나 조건 검사 없이 대규모 계속되는 MDPs에서 안정적이고 수렴되며 분산이 낮은 학습을 달성할 수 있는가?

주요 결과

• 제안된 DDR-DSU 알고리즘은 마지막 10회의 평가에서 평균 평균 보상 -36.59와 표준편차 0.19를 기록하여 높은 안정성과 수렴성을 입증한다.
• R-학습은 탐욕적 행동이 선택될 때만 평균 보상을 업데이트하는 반면, 제안된 방법은 배치 기반 업데이트를 사용하여 데이터 효율성을 향상시키고 낭비된 경험을 제거한다.
• 타겟 네트워크를 활용한 평균 보상 업데이트 계산은 빠르게 변화하는 목표값을 추적하는 데 기인한 불안정성을 방지하여 훈련 안정성을 크게 향상시킨다.
• RVI Q-학습과 달리 특수 상태를 선택할 필요가 없어지므로, DRL 응용에 더 실용적인 방법이 된다.
• 이론적 분석을 통해 할인 인자 γ가 1에 수렴하지 않는 한, 할인 누적 보상 최적화를 위한 표준 DRL 알고리즘은 평균 보상 최대화와 동치가 아니라는 것이 확인된다.
• R-학습과 DRL의 통합은 캐싱 기반 IoT 네트워크에서 에너지 소비와 정보 연령 간의 트레이드오프를 고려한 대규모 계속되는 MDPs에서 안정적이고 확장 가능한 학습이 가능하다는 점을 입증한다.