[논문 리뷰] Online 3D Bin Packing with Constrained Deep Reinforcement Learning

Hang Zhao, Qijin She외 3명|arXiv (Cornell University)|2020. 06. 26.

Optimization and Packing Problems참고 문헌 51인용 수 13

한 줄 요약

이 논문은 실시간 제약 조건 하에서 도착한 아이템을 즉시 정렬하고 재조정하지 못하는 온라인 3차원 박스 패킹을 위한 제약 조건이 있는 딥 강화학습(DRL) 방법을 제안한다. 이 방법은 학습 중 타당성 마스크를 강제로 적용하기 위해 예측-투영 기반 기법을 사용하며, 이로 인해 안정적이고 순서에 의존하는 패킹 정책을 효율적으로 학습할 수 있다. 이는 초기 테스트에서 최신 기술 및 인간 수준의 성능을 뛰어넘는다.

ABSTRACT

We solve a challenging yet practically useful variant of 3D Bin Packing Problem (3D-BPP). In our problem, the agent has limited information about the items to be packed into the bin, and an item must be packed immediately after its arrival without buffering or readjusting. The item's placement also subjects to the constraints of collision avoidance and physical stability. We formulate this online 3D-BPP as a constrained Markov decision process. To solve the problem, we propose an effective and easy-to-implement constrained deep reinforcement learning (DRL) method under the actor-critic framework. In particular, we introduce a feasibility predictor to predict the feasibility mask for the placement actions and use it to modulate the action probabilities output by the actor during training. Such supervisions and transformations to DRL facilitate the agent to learn feasible policies efficiently. Our method can also be generalized e.g., with the ability to handle lookahead or items with different orientations. We have conducted extensive evaluation showing that the learned policy significantly outperforms the state-of-the-art methods. A user study suggests that our method attains a human-level performance.

연구 동기 및 목표

• 항상 도착하는 아이템이 즉시 정렬되어야 하며 버퍼링이나 재조정이 불가능한 실용적인 온라인 3D 박스 패킹 문제를 해결하기 위해.
• 실제 물류 및 로봇 응용 분야를 반영하기 위해 물리적 안정성과 순서 의존성 제약 조건을 패킹 과정에 통합하기 위해.
• 제한된 미리보기 및 엄격한 실시간 제약 조건 하에서 타당하고 안정적인 패킹 정책을 학습할 수 있는 딥 강화학습 프레임워크를 개발하기 위해.
• 기준 데이터셋에서 기존 히우리스틱 및 학습 기반 방법보다 공간 활용도와 패킹 효율성 측면에서 뛰어난 성능을 내기 위해.
• 사용자 연구를 통해 인간 직관과의 성능 비교를 통해, 실제 패킹 작업에서 인간 수준 또는 그 이상의 성능을 달성할 수 있는지 평가하기 위해.

제안 방법

• 순서 의존성과 물리적 안정성 제약 조건을 모델링하기 위해 문제를 제약 조건이 있는 마르코프 결정 과정(CMDP)으로 공식화한다.
• 예측-투영 기반 기법을 도입한다: 에이전트는 잠재적 배치에 대한 타당성 마스크를 보조 작업으로 예측한다.
• 학습 중 예측된 마스크를 사용하여 액터 네트워크의 액션 확률을 투영하고 조절함으로써 타당한 액션만 허용한다.
• 3D 패킹 상태를 표현하기 위해 높이 맵 표현을 사용하며, 몬테카를로 트리 서치(MCTS)를 통해 다중 박스 및 향후 아이템 처리를 지원한다.
• 행동 공간을 두 배로 늘려 아이템의 재방향 조정을 처리하기 위해 확장하며, 방향에 특화된 정책을 학습한다.
• 안정성과 타당성을 보장하기 위해 제약 조건이 있는 정책 최적화를 적용한 온-폴리시 액터-크리틱 프레임워크에서 DRL 에이전트를 학습시킨다.

실험 결과

연구 질문

• RQ1 제한된 미리보기와 재조정이 불가능한 온라인 환경에서 딥 강화학습 에이전트가 3차원 아이템을 효율적으로 패킹할 수 있는가?
• RQ2 제안된 예측-투영 기반 기법이 학습 중 물리적 안정성과 순서 의존성 제약 조건을 얼마나 효과적으로 강제로 적용하는가?
• RQ3 공간 활용도와 패킹된 아이템 수 측면에서 기존 히우리스틱 및 학습 기반 접근법보다 성능이 뛰어나게 되는가?
• RQ4 학습된 정책이 실제 패킹 작업에서 인간의 직관과 유사하거나 그 이상의 성능을 달성할 수 있는가?
• RQ5 구조적 변경 없이도 다중 박스 패킹 및 아이템 재방향 조정에 대해 얼마나 잘 일반화되는가?

주요 결과

• 실제 로봇 테스트에서 제안된 방법은 평균 66.3%의 공간 활용도를 달성했으며, 경계 규칙 기반 베이스라인(39.2%)과 온라인 BPH(43.2%)를 크게 뛰어넘었다.
• RS 벤치마크에서 방법은 50.5%의 공간 활용도를 기록했고, 평균 12.2개의 아이템을 패킹했으며, 최고의 베이스라인(BPH)보다 공간 활용도 15.1%p와 아이템 수 3.5개 더 많은 성능을 보였다.
• CUT-1 및 CUT-2 벤치마크에서 각각 73.4% 및 66.9%의 공간 활용도를 기록했으며, CUT-1에서는 오프라인 LBP 방법을 초월했고, CUT-2에서는 그 성능에 근접했다.
• 1,851판의 사용자 연구에서 AI는 1,339판(승리율 72.3%)을 승리했으며, 평균 공간 활용도 68.9%를 기록했고, 인간 플레이어의 평균 52.1%보다 높았다.
• 아이템의 재방향 조정을 허용함으로써 RS 데이터셋에서 공간 활용도가 11.6% 향상되었고, 평균 패킹된 아이템 수는 3개 증가했으며, 이는 형태 변화에 대한 방법의 강건성을 보여주었다.