[논문 리뷰] Resource Constrained Deep Reinforcement Learning

Abhinav Bhatia, Pradeep Varakantham외 1명|arXiv (Cornell University)|2018. 12. 03.

Traffic control and management인용 수 13

한 줄 요약

이 논문은 조합적 행동 공간과 계층적 선형 제약 조건을 가진 자원 제약 환경에서의 순차적 할당 문제에 대해 DDPG 알고리즘의 세 가지 새로운 확장 기법—제약 조건이 있는 투영(CP), 제약 조건이 있는 소프트맥스(CS), 근사 OptLayer(ApprOpt)—을 제안한다. 이 방법들은 응급 대응 및 자전거 공유 시스템에서 실제 제약 조건을 효과적으로 처리하며, 급격한 수요 증가 상황에서 기준선 대비 뚜렷한 성능 향상을 보인다.

ABSTRACT

In urban environments, supply resources have to be constantly matched to the "right" locations (where customer demand is present) so as to improve quality of life. For instance, ambulances have to be matched to base stations regularly so as to reduce response time for emergency incidents in EMS (Emergency Management Systems); vehicles (cars, bikes, scooters etc.) have to be matched to docking stations so as to reduce lost demand in shared mobility systems. Such problem domains are challenging owing to the demand uncertainty, combinatorial action spaces (due to allocation) and constraints on allocation of resources (e.g., total resources, minimum and maximum number of resources at locations and regions). Existing systems typically employ myopic and greedy optimization approaches to optimize allocation of supply resources to locations. Such approaches typically are unable to handle surges or variances in demand patterns well. Recent research has demonstrated the ability of Deep RL methods in adapting well to highly uncertain environments. However, existing Deep RL methods are unable to handle combinatorial action spaces and constraints on allocation of resources. To that end, we have developed three approaches on top of the well known actor critic approach, DDPG (Deep Deterministic Policy Gradient) that are able to handle constraints on resource allocation. More importantly, we demonstrate that they are able to outperform leading approaches on simulators validated on semi-real and real data sets.

연구 동기 및 목표

• 불확실한 수요, 조합적 행동 공간, 자원 배분에 대한 엄격한 제약 조건이 존재하는 도시 시스템에서의 온라인 순차적 자원 할당 문제를 해결하기 위해.
• 특히 DDPG와 같은 깊이 강화 학습 방법을 확장하여 총 자원 제한, 각 위치별 최소/최대 할당량, 지역 범위 제약 등 복잡한 실제 제약 조건을 처리할 수 있도록 하기 위해.
• 스케일이 가능하고 효율적이며, 제약 조건을 보장하는 알고리즘을 개발하여 비정상적이고 동적인 수요 환경에서 그린드 및 오프라인 히وري스틱보다 뛰어난 성능을 내기 위해.
• 응급 의료 서비스 및 자전거 공유 시스템으로부터의 반실제 및 실제 데이터를 사용하여 실질적인 시뮬레이터에서 제안된 방법을 검증하기 위해.

제안 방법

• 공급 할당 문제에서 계층적 선형 제약 조건을 모델링하기 위한 공식적인 자원 제약 강화 학습(ReCO-RL) 프레임워크를 제안한다.
• 제약 조건이 있는 투영(CP): 행동 생성 후 투영을 통한 일반적이고 근사적인 제약 조건 이행 메커니즘으로, 손실 함수에 페널티 항을 사용한다.
• 제약 조건이 있는 소프트맥스(CS): 미분 가능하고 확장 가능한 방법으로, 소프트맥스 기반 행동 헤드를 통해 제약 조건을 이행하며 특정 조건 하에서 제약 조건을 보장한다.
• 근사 OptLayer(ApprOpt): OptNet의 빠르고, 미분 가능하고 확장 가능한 대체 방법으로, 계산 비용을 감소시키면서도 정확한 제약 조건 이행을 가능하게 한다.
• 모든 세 가지 방법을 DDPG 프레임워크에 통합하여, 정책 최적화 중에도 제약 조건 준수를 유지하면서 종단 간 학습을 유지한다.
• 학습 안정성 향상과 수렴 개선을 위해 보상 형태 조정 전략과 하이퍼파ram터 튜닝(예: λ, C, 적응 인자)을 활용한다.

실험 결과

연구 질문

• RQ1 조합적 행동 공간과 딱딱한 제약 조건이 존재하는 대규모 실세계 자원 할당 문제에 깊이 강화 학습을 효과적으로 적용할 수 있는가?
• RQ2 확장성 또는 학습 안정성에 손상 없이, 깊이 결정적 정책 기반 강화 학습 방법에서 제약 조건 준수를 어떻게 보장할 수 있는가?
• RQ3 CP, CS, ApprOpt와 같은 제안된 방법들이 다양한 수요 패턴 하에서 성능, 확장성, 제약 조건 준수 정확도 측면에서 어떻게 비교되는가?
• RQ4 강화 학습 기반 접근 방식이 급격한 수요 증가 및 비 포isson 수요 동역학을 처리하는 데서 전통적인 그린드 및 오프라인 히وري스틱보다 얼마나 뛰어나게 성능을 내는가?
• RQ5 제안된 방법들이 반실제 및 실제 데이터 세트를 포함한 다양한 실세계 데이터 분포에 대해 일반화 가능한가?

주요 결과

• 포isson 수요가 존재하는 응급 대응 영역에서는, 제안된 세 가지 방법(DDPG-CP, DDPG-CS, DDPG-ApprOpt)이 그린드 기준선과 유사하거나 약간 뒤처진 성능를 보였으며, 이는 정적 환경에서 near-optimal이기 때문이다.
• 응급 대응 영역에서 수요 급증 기간 동안 DDPG-ApprOpt는 모든 기준선 대비 뚜렷한 성능 향상을 보였으며, 평균 보상 353.20 ± 4.17을 기록하여 기준선의 309.3을 상회했다.
• 실제 데이터를 사용한 자전거 공유 영역에서는 DDPG-CS가 가장 뛰어난 성능을 보였으며, 평균 점수 -59.14 ± 3.22를 기록하여 RTrailer 기준선 및 기타 RL 방법을 압도했다.
• DDPG-ApprOpt는 다양한 랜덤 시드와 테스트 시나리오에서 일관되게 다른 방법들을 앞서며 가장 뛰어난 일반화 능력과 강건성을 보였다.
• 학습 데이터와 다른 데이터를 사용한 테스트 환경에서도 제안된 방법들이 잘 일반화되었으며, 강력한 일반화 능력을 보였다.
• ApprOpt는 제약 조건 준수, 확장성, 성능 사이의 최적의 균형을 달성했으며, 비정상적이고 고분산 수요 환경에서 尤히 뛰어난 성능를 보였다.