[논문 리뷰] Reinforcement Learning for Dynamic Bidding in Truckload Markets: an Application to Large-Scale Fleet Management with Advance Commitments

Yingfei Wang, Juliana Nascimento외 1명|arXiv (Cornell University)|2018. 02. 25.

Supply Chain and Inventory Management참고 문헌 34인용 수 6

한 줄 요약

이 논문은 고차원적이고 공간적으로 변화하는 운송주문자 및 운송업자 반응 곡선을 고려하여, 수익 극대화와 정보 확보 간 균형을 이루는 동적 입찰 최적화를 위해 부트스트랩 집합(bootstrap aggregation)을 통합한 지식 기반 경향 강화학습 정책을 제안한다. 이 방법은 고급 예약 제약 조건이 있는 대규모 플릿 시뮬레이터에서 기준 정책보다 총 수익과 계약 수락 비율 측면에서 뛰어난 성능을 보이며, 높은 적응성과 학습 능력을 입증한다.

ABSTRACT

Truckload brokerages, a $100 billion/year industry in the U.S., plays the critical role of matching shippers with carriers, often to move loads several days into the future. Brokerages not only have to find companies that will agree to move a load, the brokerage often has to find a price that both the shipper and carrier will agree to. The price not only varies by shipper and carrier, but also by the traffic lanes and other variables such as commodity type. Brokerages have to learn about shipper and carrier response functions by offering a price and observing whether each accepts the quote. We propose a knowledge gradient policy with bootstrap aggregation for high-dimensional contextual settings to guide price experimentation by maximizing the value of information. The learning policy is tested using a carefully calibrated fleet simulator that includes a stochastic lookahead policy that simulates fleet movements, as well as the stochastic modeling of driver assignments and the carrier's load commitment policies with advance booking.

연구 동기 및 목표

• 운송주문자 및 운송업자 반응 함수에 대한 불확실성을 고려하여 수익과 학습 간 균형을 맞추는 동적 입찰 문제를 해결하기 위해.
• 지리적 노선과 화물 특성 등 다양한 조건을 고려한 고차원적 컨텍스트 밴딧 정책을 개발하여, 효율적으로 반응 곡선을 학습할 수 있도록 하기 위해.
• 고급 예약 및 운송업자 약속 제약 조건이 존재하는 현실적인 확률적 플릿 시뮬레이터에서 정보 확보 입찰 전략의 영향을 평가하기 위해.
• 순수 이용 전략, 추정 최적 가격 전략, 평균 가격 전략과 같은 실무 기반 히우리스틱과 비교하여 제안된 정책의 성능을 평가하기 위해.
• 플릿 이동과 확률적 드라이버 배정을 철저히 시뮬레이션하여 동적 입찰에서 정보의 가치를 입증하기 위해.

제안 방법

• 논문은 원천, 목적지, 상품 유형 및 기타 화물 특성 등 다양한 조건을 포함하는 고차원적이고 공간적으로 분포된 컨텍스트 밴딧에 특화된 지식 기반 경향 정책을 제안한다.
• 비선형 반응 함수의 최대값 기대값을 효율적으로 계산하기 위해 새로운 리샘플링 알고리즘을 도입하여, 고차원에서의 지식 기반 경향 계산을 가능하게 한다.
• 응답 곡선 추정을 안정화하고 믿음 모델의 시간에 따른 분산을 줄이기 위해 부트스트랩 집합(bagging)을 사용한다.
• 각 입찰 결정에서 정보의 가치를 정량화하여 탐색(모르는 반응 곡선 학습)과 이용(즉각적인 수익 극대화) 간 균형을 맞춘다.
• 14일간의 전망을 고려한 확률적 전망 정책이 플릿 이동과 운송업자 화물 약속을 시뮬레이션하여, 시뮬레이터 내에서 현실적인 고급 예약 역학을 반영한다.
• 전체 플릿 시뮬레이터는 운전자 위치, 근무 시간, 근사 동적 프로그래밍 기반의 확률적 화물 수락을 모델링하여 고정밀 테스트 환경을 제공한다.

실험 결과

연구 질문

• RQ1 고차원적이고 공간적으로 변화하는 화물 입찰 환경에서 강화학습 정책이 탐색과 이용을 효과적으로 균형을 맞출 수 있는가?
• RQ2 정보 확보 입찰 전략이 화물 시장에서 장기 수익과 계약 수락 비율에 어떤 영향을 미치는가?
• RQ3 지식 기반 경향 정책은 순수 이용 및 추정 최적 가격 전략과 같은 실무 기반 기준과 비교해 어떻게 성능을 내는가?
• RQ4 부트스트랩 집합의 사용이 동적 입찰에서 응답 곡선 추정의 정확성과 강건성에 얼마나 기여하는가?
• RQ5 고급 예약 제약 조건과 확률적 플릿 역학은 학습 기반 입찰 정책의 성능에 어떤 영향을 미치는가?

주요 결과

• 지식 기반 경향(KG) 정책은 모든 테스트 정책 중에서 총 수익이 가장 높았으며, 순수 이용 및 추정 최적 전략보다 유의미하게 뛰어났다.
• KG 정책은 양측(운송주문자 및 운송업자)이 동시에 수락한 계약 수락 비율에서 두 번째로 높은 성능을 보인 톰슨 샘플링보다 3% 높은 성과를 기록했다.
• 순수 이용 전략이 추정 최적 전략(Est-Opt)보다 뛰어난 성능을 보여, 새로운 정보에 반응하는 학습 방식이 성능 향상에 유리함을 시사한다.
• 톰슨 샘플링(TS)과 낙관적 톰슨 샘플링은 강력한 성능을 보였지만 약간의 성능 저하를 보였으며, 이는 유사한 환경에서의 경험적 효과성을 확인한다.
• 운송업자 수락 비율은 운송주문자 비율보다 변동성이 더 컸으며, 이는 운송업자 배차 결정의 복잡성과 시뮬레이터에서 근사 동적 프로그래밍의 사용을 반영한다.
• 시뮬레이터의 확률적 전망 정책은 고급 약속과 운전자 가용성과 같은 현실적인 플릿 역학을 성공적으로 반영하여, 입찰 정책 평가에 철저한 기반을 제공했다.