[논문 리뷰] A Versatile Multi-Agent Reinforcement Learning Benchmark for Inventory Management

Xianliang Yang, Zhihao Liu외 5명|arXiv (Cornell University)|2023. 06. 13.

Supply Chain and Inventory Management인용 수 4

한 줄 요약

이 논문은 실제 소매 데이터를 활용한 다층, 다품종 재고 관리에 적합한 유연한 다에이전트 강화학습(MARL) 기준점인 MABIM을 소개한다. 이 기준점은 확장성, 협업, 경쟁, 비정상적인 동적 변화와 같은 과제를 통해 MARL 알고리즘의 성능을 평가할 수 있도록 하며, 복잡한 환경에서 하이브리드 접근 방식(IPPO+BS 등)이 순수 MARL 또는 운영연구(OR) 방법보다 뛰어난 성능을 보임을 드러낸다.

ABSTRACT

Multi-agent reinforcement learning (MARL) models multiple agents that interact and learn within a shared environment. This paradigm is applicable to various industrial scenarios such as autonomous driving, quantitative trading, and inventory management. However, applying MARL to these real-world scenarios is impeded by many challenges such as scaling up, complex agent interactions, and non-stationary dynamics. To incentivize the research of MARL on these challenges, we develop MABIM (Multi-Agent Benchmark for Inventory Management) which is a multi-echelon, multi-commodity inventory management simulator that can generate versatile tasks with these different challenging properties. Based on MABIM, we evaluate the performance of classic operations research (OR) methods and popular MARL algorithms on these challenging tasks to highlight their weaknesses and potential.

연구 동기 및 목표

• 다층, 다품종 재고 관리와 같은 복잡한 실생활 산업 시나리오에서 다에이전트 강화학습(MARL)에 대한 종합적인 기준점 부족 문제를 해결하기 위해.
• 에이전트 상호작용, 비정상적인 동적 변화, 대규모 조율과 같은 핵심 과제를 반영한 유연하고 확장성 있고 현실적인 시뮬레이션 환경을 개발하기 위해.
• 다양하고 현실적인 재고 관리 과제에서 고전적인 운영연구(OR) 방법과 현대적 MARL 알고리즘을 평가하여 알고리즘의 한계를 드러내기 위해.
• 재현 가능한 평가를 지원하고 산업 적용을 위한 MARL 발전을 이끄는 표준화된 오픈소스 기준점(MABIM)을 제공하기 위해.

제안 방법

• MABIM은 OpenAI Gym 프레임워크 기반으로 구축되었으며, 실물 소매 파트너사의 실제 데이터를 활용해 다층, 다품종 재고 시스템을 시뮬레이션한다.
• 환경은 최대 2,000명의 에이전트(창고)를 지원하며, 수요, 가격, 리드타임 등의 동적 컨텍스트 변수와 사용자 정의 가능한 과제 설정 기능을 제공한다.
• 과제는 확장성, 상류/하류 창고 간 협업, 동료 간 경쟁, 수요 변화 및 노이즈에 대한 일반화 및 내성성 테스트를 위해 설계되었다.
• 이 기준점은 동일한 현실적인 조건에서 MARL 알고리즘(IPPO, QTRAN 등)과 OR 기준선((s,S) 정책, BS 등)의 성능 평가를 가능하게 한다.
• 하이브리드 알고리즘으로는 MARL이 상류 전략을 학습하고 OR 방법이 하류 결정을 처리하는 IPPO+BS와 같은 접근 방식이 도입되었다.
• 성능 평가 시 누적 수익을 기준으로 하며, 비정상적인 과제에서의 공정한 비교를 위해 (s,S) 후행 기준선을 활용해 정규화한다.

Figure 1: Multi-echelon inventory model.

실험 결과

연구 질문

• RQ1 실제 재고 시스템에서 최대 2,000명의 에이전트가 참여하는 대규모 에이전트 환경에서 MARL 알고리즘이 어떻게 작동하는가?
• RQ2 다층 공급망에서 상류 및 하류 창고 간의 조율 문제를 해결하는 데 있어 기존 MARL 알고리즘의 한계는 무엇인가?
• RQ3 MARL 알고리즘은 새로운 수요 패턴이나 노이즈가 많은 수요 변동에 대해 얼마나 잘 일반화되고 내성성을 유지하는가?
• RQ4 MARL과 OR 방법을 융합한 하이브리드 접근 방식이 복잡한 재고 과제에서 순수 MARL 또는 OR 기준선을 초월할 수 있는가?
• RQ5 재고 관리에서 MARL의 주요 실패 원인은 무엇인가, 예를 들어 학습의 불안정성 또는 경쟁 하에서의 나쁜 조율 능력 등은 무엇인가?

주요 결과

• 경쟁 과제에서는 IPPO가 손실을 방지하기 위해 재충전을 줄였지만, (s,S) 정적 정책과 QTRAN에 비해 성능이 열 劣했다. 이는 QTRAN이 더 뛰어난 안정성과 수익성을 보였음을 시사한다.
• 이층 협업 과제에서 순수 IPPO는 수익 6.72만 원을 기록했지만, IPPO+BS는 9.86만 원으로 향상되어 MARL과 OR 정책을 융합한 것이 유의미한 이점을 제공한다는 것을 입증했다.
• 삼층 협업 과제에서는 IPPO의 수익이 4.25만 원으로 감소했지만, IPPO+BS는 10.14만 원으로 상승하여, 외부 정책 지침 없이 다층 조율을 수행하는 데 MARL이 어려움을 겪음을 보여주었다.
• 비정상적인 컨텍스트 과제에서는 IPPO가 일반화 및 내성성 면에서 다른 MARL 알고리즘보다 뛰어났고, 정적 OR 방법은 특히 수요 변화 상황에서 가장 열 劣한 성능을 보였다.
• (s,S) 후행 알고리즘이 가장 뛰어난 성능을 기록했으며, 이는 테스트 시점 최적화에서 효과적이라는 점을 보여주어 정규화 기준선으로 사용되었다.
• 결과적으로 MARL 알고리즘이 확장성, 계층 간 조율, 동적 변화에 대한 내성성에서 심각한 과제에 직면해 있음을 확인했으며, 이는 향후 알고리즘 설계의 개선이 절실하다는 점을 시사한다.

Figure 2: Combined challenge. $\uparrow$ , $\downarrow$ , and ~ signify increasing, decreasing, and keep steady.