[논문 리뷰] A Generalized Reinforcement Learning Algorithm for Online 3D Bin-Packing

Richa Verma, Aniruddha Singhal외 6명|arXiv (Cornell University)|2020. 07. 01.

Optimization and Packing Problems참고 문헌 29인용 수 7

한 줄 요약

이 논문은 향후 상자들 중 일부만 관찰 가능한 온라인 3차원 박스 정렬 문제를 위한 딥 강화학습 알고리즘인 PackMan을 제안한다. 이 알고리즘은 실시간으로 최적의 상자 배치 및 방향을 결정할 수 있으며, 부분적인 향후 정보가 있을 때조차도 성능을 발휘한다. PackMan는 패킹 효율성과 경쟁 비율에서 최신 히우리스틱보다 뛰어나며, 재학습 없이도 임의의 박스 크기와 물체 분포에 일반화 가능하다. 시뮬레이션 및 실제 로봇 구현을 통한 검증을 통해 검증되었다.

ABSTRACT

We propose a Deep Reinforcement Learning (Deep RL) algorithm for solving the online 3D bin packing problem for an arbitrary number of bins and any bin size. The focus is on producing decisions that can be physically implemented by a robotic loading arm, a laboratory prototype used for testing the concept. The problem considered in this paper is novel in two ways. First, unlike the traditional 3D bin packing problem, we assume that the entire set of objects to be packed is not known a priori. Instead, a fixed number of upcoming objects is visible to the loading system, and they must be loaded in the order of arrival. Second, the goal is not to move objects from one point to another via a feasible path, but to find a location and orientation for each object that maximises the overall packing efficiency of the bin(s). Finally, the learnt model is designed to work with problem instances of arbitrary size without retraining. Simulation results show that the RL-based method outperforms state-of-the-art online bin packing heuristics in terms of empirical competitive ratio and volume efficiency.

연구 동기 및 목표

• 향후 상자들 중 일부만 가시화된 온라인 3차원 박스 정렬 문제에 대응하여 실시간으로 물리적으로 실행 가능한 결정을 내리는 도전 과제를 해결한다.
• 로봇 제약 조건(예: 바닥에서부터 쌓는 방식, 제한된 자유도) 하에서 효율적인 상자 정렬을 학습할 수 있는 강화학습 프레임워크를 개발한다.
• 재학습 없이도 다양한 박스 크기와 물체 분포에 적용 가능한 일반화 가능한 모델을 설계하여 실제 적용을 가능하게 한다.
• 검색 히우리스틱(WallE)과 딥 Q네트워크(DQN)를 조합하여 패킹 효율성을 극대화하고 박스 사용량을 최소화함으로써 기존 히우리스틱을 향상시킨다.

제안 방법

• 부분적인 향후 상자 정보가 있는 시뮬레이션 환경에서, 딥 Q네트워크(DQN) 프레임워크를 사용해 최적의 상자 배치 및 방향 결정을 학습한다.
• 박스 상태를 3차원 격자 기반 신뢰 상태로 표현하며, 입력 특징으로는 박스 치수, 현재 상자 위치, 향후 도착 예정인 물체 치수를 포함한다.
• 패킹 효율성과 박스 활용도를 기반으로 조밀한 보상 구조를 사용해 DQN 에이전트를 훈련시켜 고체적 효율성과 낮은 경쟁 비율을 유도한다.
• 이중 단계 접근법을 도입: 먼저 WallE 히우리스틱을 사용해 후보 배치를 생성하고, 그 후 DQN을 통해 후보 중 최적의 배치를 선택한다.
• 전이 학습을 활용하여 더 큰 규모의 문제(예: 16개 박스)에서 학습된 DQN 정책을 그대로 더 작은 인스턴스(예: 3개 박스)에 적용하여 재학습 없이도 사용한다.
• 센서 및 액추에이터 노이즈가 존재하는 실제 로봇 환경에서 정책을 검증하며, 충돌 방지를 위해 신뢰 상태에 안전 간격(1–2cm)을 추가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 향후 상자들에 대한 부분적인 지식만을 가질 때에도 실시간으로 효율적이고 물리적으로 실행 가능한 패킹 결정을 학습할 수 있는가?
• RQ2 제안된 강화학습 기반 방법(PackMan)은 경쟁 비율과 패킹 효율성 측면에서 최신 온라인 히우리스틱과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 강화학습 정책이 재학습 없이 다양한 박스 크기와 물체 치수 분포에 얼마나 잘 일반화되는가?
• RQ4 실제 로봇 암에 학습된 패킹 정책을 구현할 때 발생하는 실용적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• PackMan는 모든 테스트 런에서 경쟁 비율 1.4 이하를 달성했으며, 최고의 히우리스틱(AH)의 이론적 하한값 1.58를 초월해 뛰어난 실증 성능을 보였다.
• PackMan의 평균 패킹 분율은 82.8%로, WallE(57%) 및 기타 히우리스틱보다 유의미하게 높아 체적 효율성에서 뛰어난 성능을 입증했다.
• 더 작은 크기의 상자(에피소드당 수량이 두 배)로 테스트한 결과 PackMan의 패킹 효율은 약간 감소에 그쳤으며, 입력 스케일 및 분포 변화에 대한 강건성을 보였다.
• 전이 학습 덕분에 PackMan는 16개 박스 데이터로 사전 학습된 정책을 3개 박스 문제에 그대로 적용했을 때 거의 동일한 성능을 달성했으며, 재학습이 필요 없었다.
• 실제 로봇 환경에서 센서 노이즈로 인한 신뢰 상태 정확도 저하로 충돌이 발생했으나, 격자 해상도를 높이고 상자 간 1–2cm의 안전 간격을 추가함으로써 이를 완화했다.
• 각 결정의 추론 시간은 40ms 이내였으며, 이는 로봇 시스템에 실시간 구현이 가능하다는 것을 확인했다.