[논문 리뷰] Multi-Agent Reinforcement Learning with Shared Resources for Inventory Management

Yuandong Ding, Mingxiao Feng외 8명|arXiv (Cornell University)|2022. 12. 15.

Supply Chain and Inventory Management인용 수 7

한 줄 요약

이 논문은 재고 용량과 같은 공유 자원을 공유하는 재고 관리에 적합한 맥락 인식 다중 에이전트 강화 학습 알고리즘인 CD-PPO를 제안한다. 공유 맥락 변수를 통해 에이전트 간 상호작용을 모델링하고, 맥락 조건부 국지 시뮬레이터를 활용한 탈중앙화 학습을 통해, 대규모 SKU 환경에서 기존 MARL 방법에 비해 뛰어난 샘플 효율성과 성능을 달성한다.

ABSTRACT

In this paper, we consider the inventory management (IM) problem where we need to make replenishment decisions for a large number of stock keeping units (SKUs) to balance their supply and demand. In our setting, the constraint on the shared resources (such as the inventory capacity) couples the otherwise independent control for each SKU. We formulate the problem with this structure as Shared-Resource Stochastic Game (SRSG)and propose an efficient algorithm called Context-aware Decentralized PPO (CD-PPO). Through extensive experiments, we demonstrate that CD-PPO can accelerate the learning procedure compared with standard MARL algorithms.

연구 동기 및 목표

• 수천 개의 SKU가 재고 용량과 같은 공유 자원을 놓고 경쟁하는 대규모 재고 관리 문제를 해결한다.
• 다중 에이전트 강화 학습에서 독립 학습과 중심화된 비평가의 본질적인 비정상성 및 확장성 문제를 극복한다.
• 공동 상태/행동 공간이 필요 없이 공유 맥락 변수를 통해 전역적 조율를 유지하는 실용적인 탈중앙화 학습 프레임워크를 개발한다.
• 에이전트 상호작용이 공유 자원 제약 조건으로만 매개되는 실제 재고 시스템에서 효율적이고 확장 가능한 학습을 가능하게 한다.

제안 방법

• 에이전트가 공유 자원 제약 조건을 통해만 상호작용하는 공유 자원 스토케스틱 게임(SRSG)으로 재고 관리 문제를 수립한다.
• 공유 자원의 집합적 상태(예: 이용 가능한 재고 용량)를 나타내는 맥락 변수를 도입하며, 이를 각 에이전트의 정책 및 가치 네트워크의 입력으로 사용한다.
• 샘플된 맥락 트래잭터리를 기반으로 국지 시뮬레이터를 조건화하여 에이전트 학습을 분리함으로써, 전역 일관성을 유지하면서도 독립적인 정책 업데이트를 가능하게 한다.
• 중앙화된 비평가를 피하고 계산 오버헤드를 줄이기 위해 맥락 인식 정책 및 가치 네트워크를 사용하는 탈중앙화 학습 알고리즘인 CD-PPO를 설계한다.
• 이중 단계 반복 학습 프로세스를 사용한다: 먼저 공동 시뮬레이터로부터 맥락 동역학을 샘플링하고, 그 다음 맥락 조건부 국지 데이터를 사용해 각 에이전트의 정책을 업데이트한다.
• 맥락이 주어지면 에이전트 동역학이 상호 독립적이므로, 비정상성 문제를 방지하고 대규모 환경에서의 학습 안정성을 유지할 수 있다.

실험 결과

연구 질문

• RQ1 중앙화된 비평가에 의존하지 않고도 탈중앙화 MARL 알고리즘이 공유 자원 제약 조건이 있는 에이전트를 효과적으로 조율할 수 있는가?
• RQ2 맥락 변수는 재고 관리에서 정책을 분리하면서도 전역 조율를 유지하는 데 어떻게 활용될 수 있는가?
• RQ3 맥락 인식 학습은 대규모 재고 시스템에서 표준 MARL 기준선에 비해 샘플 효율성과 성능을 향상시키는가?
• RQ4 제안된 방법은 재고 관리 외에도 공유 예산을 가진 포트폴리오 관리 및 스마트 그리드 스케줄링과 같은 다른 실생활 응용 분야로 일반화될 수 있는가?

주요 결과

• CD-PPO는 표준 MARL 알고리즘에 비해 학습 과정을 크게 가속화하여 대규모 재고 관리에서 뛰어난 샘플 효율성을 입증한다.
• 다양한 벤치마크 설정에서 총 수익 및 서비스 수준 측면에서 최신 기술(SOTA) MARL 기준선보다 뛰어난 성능을 달성한다.
• 정책을 맥락에 조건화함으로써 독립 학습에서 기인하는 비정상성 문제를 완화하여 더 안정적인 학습을 이끌어낸다.
• CD-PPO는 수천 개의 SKU에 이르는 대규모 수준에서도 효과적으로 확장 가능하므로, 실제 재고 시스템에 적합하다.
• 실험 결과는 맥락 인식 설계가 중심화된 비평가의 계산 비용을 지불하지 않고도 효과적인 조율를 가능하게 함을 검증한다.
• 이 방법은 재고 관리 외에도 포트폴리오 관리 및 스마트 그리드 스케줄링 등 공유 예산을 가진 다른 응용 분야로 일반화 가능성을 보여준다.