[논문 리뷰] Reinforcement Learning for Joint Optimization of Multiple Rewards

Mridul Agarwal, Vaneet Aggarwal|arXiv (Cornell University)|2019. 09. 06.

Age of Information Optimization참고 문헌 57인용 수 4

한 줄 요약

이 논문은 장기 평균 보상의 비선형 함수, 예를 들어 공정성 지표와 같은 것을 통한 다중 보상의 공동 최적화를 위한 모델 기반 및 모델리스 강화학습 알고리즘을 제안한다. 이는 $ ilde{O}ig(LKDSig(rac{A}{T}ig)^{1/2}ig)$ 의 정규화 오차 경계를 달성하고, 공정성 인식 스케줄링 작업에서 DQN과 히우리스틱 정책보다 뛰어난 성능을 보인다.

ABSTRACT

Finding optimal policies which maximize long term rewards of Markov Decision Processes requires the use of dynamic programming and backward induction to solve the Bellman optimality equation. However, many real-world problems require optimization of an objective that is non-linear in cumulative rewards for which dynamic programming cannot be applied directly. For example, in a resource allocation problem, one of the objectives is to maximize long-term fairness among the users. We notice that when an agent aim to optimize some function of the sum of rewards is considered, the problem loses its Markov nature. This paper addresses and formalizes the problem of optimizing a non-linear function of the long term average of rewards. We propose model-based and model-free algorithms to learn the policy, where the model-based policy is shown to achieve a regret of $\Tilde{O}\left(LKDS\sqrt{\frac{A}{T}} ight)$ for $K$ objectives combined with a concave $L$-Lipschitz function. Further, using the fairness in cellular base-station scheduling, and queueing system scheduling as examples, the proposed algorithm is shown to significantly outperform the conventional RL approaches.

연구 동기 및 목표

• 표준 동적 프rogramming이 마르코프 성질을 잃기 때문에 실패하는 상황에서, 누적 보상의 비선형 함수 최적화 문제를 해결하기 위한 것이다.
• 다중 목표 하에 무한 수평의 순차적 의사결정을 위한 새로운 평균 단위 보상 설정을 수학적으로 정식화하기 위한 것이다.
• 볼록이고 리프시츠 연속인 공동 목표 함수를 최적화하기 위한 스토케스틱 정책을 학습할 수 있는 모델 기반 및 모델리스 강화학습 알고리즘을 개발하기 위한 것이다.
• 전이 확률가 알려져 있지 않은 상황에서도 증명 가능한 정규화 오차 경계를 확보하기 위한 것이다. 특히 비례 공정성 및 α-공정성과 같은 공정성 목표에 대해이다.
• 실제 응용 분야인 셀룰러 기지국 스케줄링 및 다중 큐 시스템에서 표준 강화학습 방법(예: DQN)과 히우리스틱 기법보다 뛰어난 성능을 보여주기 위한 것이다.

제안 방법

• 디리클레 분포를 사용한 사후 샘플링을 통해 상태 전이 확률를 추정하고 불확실성 하에서 정책을 학습하는 모델 기반 알고리즘을 제안한다.
• 스토케스틱 정책에 대해 벨먼 오차 분석을 사용하여 $ oneq ilde{O}ig(LKDSig(rac{A}{T}ig)^{1/2}ig)$ 의 정규화 오차 경계를 유도한다.
• 전이 모델 지식이 필요 없는 신경망을 사용한 모델리스 정책 그래디언트 방법을 도입하여 스토케스틱 정책을 최적화한다.
• 연속적 행동 공간에서 정책 파라미터를 업데이트하기 위해 적응형 학습률과 배치 학습을 사용한 확률적 경사상승법을 적용한다.
• 시간 수평 T 내에서 최적 정책에서의 이탈을 정량화하고, 이를 정규화 오차와 연결하기 위해 벨먼 오차 기반 분석을 수행한다.
• 공정성 최적화에 응용하기 위해 평균 보상의 볼록이고 L-리프시츠 함수로 목표를 모델링한다. 이에는 α-공정성과 가중 비례 공정성이 포함된다.

실험 결과

연구 질문

• RQ1 표준 동적 프로그래밍이 실패하는 상황에서, 누적 보상의 비선형 함수 최적화에 강화학습을 효과적으로 적용할 수 있는가?
• RQ2 다중 에이전트 시스템에서 공정성과 같은 공동 목표를 최적화할 때, 모델 기반 및 모델리스 강화학습 알고리즘이 달성할 수 있는 정규화 오차 경계는 무엇인가?
• RQ3 제안된 알고리즘은 공정성 중심 스케줄링 작업에서 표준 DQN 및 히우리스틱 정책과 비교해 어떻게 성능을 냈는가?
• RQ4 최적 정책이 본질적으로 비결정적인 경우, 정책 그래디언트 방법을 사용해 스토케스틱 정책을 효과적으로 학습하고 최적화할 수 있는가?
• RQ5 공동 최적화 문제는 어떤 조건에서 볼록 프로그래밍 또는 선형 프로그래밍 문제로 축소되는가?

주요 결과

• 모델 기반 알고리즘은 $ ilde{O}ig(LKDSig(rac{A}{T}ig)^{1/2}ig)$ 의 정규화 오차 경계를 달성하며, 이는 시간 수평 T에 대해 비선형이며, 목표 수 K와 상태 수 S에 대해 유리하게 스케일링된다.
• 모델리스 정책 그래디언트 알고리즘은 큐잉 시스템에서 α-공정성과 가중 비례 공정성을 최대화하는 데 DQN과 LQF 히우리스틱보다 뚜렷이 뛰어난 성능을 보인다.
• α-공정성의 경우, 초기 하중이 낮은 조건에서 LQF가 더 공정했음에도 불구하고, 안정 상태 성능에서 제안된 알고리즘이 DQN과 LQF를 모두 능가한다.
• 낮은 도착률 조건에서 가중 비례 공정성을 고려할 때, 제안된 정책 그래디언트 방법은 50회의 시행 전반에서 DQN보다 높은 공정성 지표를 지속적으로 확보하였으며, 중앙값과 1분위수-3분위수 범위를 통해 뛰어난 안정성과 성능을 보였다.
• 이 프레임워크는 최대-최소 및 볼록 공동 목표의 효과적인 최적화를 가능하게 하며, 특정 공정성 지표 하에서는 문제를 선형 프로그래밍으로 축소시킬 수 있다.
• 결과적으로 표준 Q-학습 및 DQN은 비선형 보상 함수를 포착하지 못하는 반면, 제안된 방법들은 공동 목표의 직접 최적화 덕분에 성공한다.