[논문 리뷰] ORL: Reinforcement Learning Benchmarks for Online Stochastic Optimization Problems

Bharathan Balaji, Jordan Bell-Masterson외 8명|arXiv (Cornell University)|2019. 11. 24.

Optimization and Search Problems참고 문헌 32인용 수 22

한 줄 요약

이 논문은 온라인 스토케스틱 최적화 문제인 백팩 정렬, 뉴스베이더, 차량 경로 최적화 문제를 위한 강화학습 기반 벤치마크인 ORL을 소개한다. 표준 강화학습 알고리즘을 사용하고 하이퍼파라미터 조정을 최소화하며 단순한 신경망을 적용함으로써, 저자들은 훈련된 정책이 세 가지 문제 모두에서 기존 기준 성능과 경쟁하거나 이를 초월하는 성능을 달성함을 보여주며, 실세계의 동적 자원 할당에 있어서 강화학습의 강력한 잠재력을 입증한다.

ABSTRACT

Reinforcement Learning (RL) has achieved state-of-the-art results in domains such as robotics and games. We build on this previous work by applying RL algorithms to a selection of canonical online stochastic optimization problems with a range of practical applications: Bin Packing, Newsvendor, and Vehicle Routing. While there is a nascent literature that applies RL to these problems, there are no commonly accepted benchmarks which can be used to compare proposed approaches rigorously in terms of performance, scale, or generalizability. This paper aims to fill that gap. For each problem we apply both standard approaches as well as newer RL algorithms and analyze results. In each case, the performance of the trained RL policy is competitive with or superior to the corresponding baselines, while not requiring much in the way of domain knowledge. This highlights the potential of RL in real-world dynamic resource allocation problems.

연구 동기 및 목표

• 온라인 스토케스틱 최적화 문제에서 강화학습 접근법을 평가하기 위한 표준화된 벤치마크의 부족을 해결하기 위해.
• 다양한 문제 인스턴스와 스케일 간에 강화학습 알고리즘을 공정하고 재현 가능한 방식으로 비교할 수 있는 평가 프레임워크를 확립하기 위해.
• 도메인 특화 엔지니어링 없이도 사전 구성된 강화학습 알고리즘이 고전적인 동적 자원 할당 문제에서 경쟁력 있거나 우수한 성능을 달성할 수 있음을 입증하기 위해.
• OpenAI Gym과 RLlib를 통해 환경를 오픈소스로 제공함으로써 향후 연구를 가능하게 하며, 문제 복잡도를 구성 가능한 방식으로 제공하기 위해.
• 특히 대규모 차량 경로 최적화와 같은 복잡한 설정에서, 예측할 수 없는 분포와 문제 크기 간의 일반화 성능을 평가하기 위해.

제안 방법

• 백팩 정렬, 뉴스베이더, 차량 경로 최적화 문제를 각각 상태, 행동, 보상 구성 요소를 갖춘 마르코프 결정 과정(MDP)으로 정형화하기 위해.
• 상태 공간에 항목 크기, 상자 수준, 차량 상태(예: 위치, 적재량, 시간)를 포함하고 행동 공간에 정렬 결정 또는 경로 선택을 포함하기 위해.
• 백팩 정렬과 차량 경로 최적화에서는 부정적인 누적 낭비를 보상 신호로 사용하고, 뉴스베이더 문제에서는 과잉/부족 재고에 대한 보상 기반의 보상 정의를 사용하기 위해.
• 모든 환경을 OpenAI Gym 인터페이스로 구현하고 RLlib를 통합하여 확장 가능한 훈련과 하이퍼파라미터 조정을 지원하기 위해.
• 두 층의 피드포워드 신경망을 사용하여 표준 딥 강화학습 알고리즘(PPO, SAC 등)을 훈련시키며, 문제 특화 보상 형상화나 아키텍처 수정 없이 진행하기 위해.
• 상자 크기, 항목 유형 수, 지도 크기, 주문 수 등 문제 복잡도를 매개변수화하여 다양한 스케일과 분포 간의 공정한 비교를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 도메인 특화 보상 형상화 없이도 사전 구성된 딥 강화학습 알고리즘이 고전적인 온라인 스토케스틱 최적화 문제에서 경쟁력 있거나 뛰어난 성능을 달성할 수 있는가?
• RQ2 강화학습 정책의 성능가 다양한 문제 크기와 입력 분포 간에 일반화되는 정도는 어떠한가? 특히 예측할 수 없는 시나리오에서 어떻게 되는가?
• RQ3 동적 환경에서 자원 활용도 향상과 비용 최소화 측면에서, 강화학습 정책이 전통적인 휴리스틱 기준 성능을 얼마나 뛰어나게 하는가?
• RQ4 대규모 차량 경로 최적화와 같은 환경에서 문제 복잡도 증가에 따라 훈련 시간과 수렴 행동은 어떻게 변화하는가?
• RQ5 제약 최적화 과제에서 정책의 타당성과 성능 향상에 기여하는 행동 마스킹과 제약 강제화의 역할은 어떠한가?

주요 결과

• 백팩 정렬 문제에서는, 세 가지 분포 유형(선형 낭비, 완전히 정렬 가능한, 유계 낭비) 모두에서 하이퍼파라미터 조정을 최소화함으로써 기준 성능과 경쟁하거나 이를 초월하는 성능을 달성하였다.
• 뉴스베이더 문제에서는, 분포가 알려지지 않은 확률적 수요 조건에서도 기존 최적 정책과 동일하거나 뛰어난 기대 비용 성능을 달성하였다.
• 차량 경로 최적화 문제에서는, 5×5 및 8×8 지도 시나리오에서 5~10건의 주문 조건에서 기준 MIP 솔버보다 뛰어난 성능을 보였으며, 평균 보상이 높게 유지되었다(예: 5건 주문, 2개의 수거지점에서 854.45 vs. 640.01). 또한, 이동 수요 분포의 이동에 대한 일반화 성능도 일관되게 유지되었다.
• 강화학습 에이전트는 특히 수거지점 수가 증가함에 따라 보상이 감소하는 고위험 주문을 피하는 방식으로 행동을 학습하였으며, 시간이 지남에 따라 주문 누락 비율이 감소하였다.
• 3일간의 훈련 이후에도, 더 큰 인스턴스(예: 8×8 지도, 5건 주문)에 대한 정책은 계속 향상되고 있었으며, 이는 더 긴 훈련이 성능 향상에 기여할 수 있음을 시사하며, 과적합 현상은 아직 관찰되지 않았다.
• 보상 함수에 주문 누락 보상이 포함된 것은 정책 행동에 상당한 영향을 미쳤으며, 특히 복잡한 인스턴스에서 성능 격차가 두드러지게 나타났다. 이는 에이전트가 배달 신뢰성을 우선시하는 방식으로 학습하고 있음을 시사한다.