[논문 리뷰] A Multi-task Selected Learning Approach for Solving New Type 3D Bin Packing Problem.

Haoyuan Hu, Lu Duan외 3명|arXiv (Cornell University)|2018. 04. 17.

Optimization and Packing Problems참고 문헌 8인용 수 8

한 줄 요약

이 논문은 고정되지 않은 상자 크기를 가진 새로운 3D 박스 패킹 문제를 해결하기 위해 다중 작업 선택 학습 프레임워크를 제안한다. 목표는 항목의 순서, 배치, 방향을 동시에 최적화하여 상자 표면적을 최소화하는 것이다. 이 방법은 동적 손실 선택을 통해 딥 강화학습과 지도학습을 결합하여 기준 방법 대비 7.52%의 성능 향상을 달성한다.

ABSTRACT

This paper studies a new type of 3D bin packing problem (BPP), in which a number of cuboid-shaped items must be put into a bin one by one orthogonally. The objective is to find a way to place these items that can minimize the surface area of the bin. This problem is based on the fact that there is no fixed-sized bin in many real business scenarios and the cost of a bin is proportional to its surface area. Based on previous research on 3D BPP, the surface area is determined by the sequence, spatial locations and orientations of items. It is a new NP-hard combinatorial optimization problem on unfixed-sized bin packing, for which we propose a multi-task framework based on Selected Learning, generating the sequence and orientations of items packed into the bin simultaneously. During training steps, Selected Learning chooses one of loss functions derived from Deep Reinforcement Learning and Supervised Learning corresponding to the training procedure. Numerical results show that the method proposed significantly outperforms Lego baselines by a substantial gain of 7.52%. Moreover, we produce large scale 3D Bin Packing order data set for studying bin packing problems and will release it to the research community.

연구 동기 및 목표

• 상자 비용이 크기 고정이 아닌 표면적 비례하는 새로운 3D 박스 패킹 변종을 다루며, 실제 물류 제약 조건을 반영한다.
• 직육면체 항목의 순서, 공간적 배치, 방향을 최적화하여 도출된 상자의 표면적을 최소화한다.
• 항목 패킹 순서와 방향을 동시에 학습하는 통합 프레임워크를 개발하여 상자 효율성을 향상시킨다.
• NP-난이도 문제의 특성을 고려해 딥 강화학습과 지도학습을 융합한 하이브리드 학습 전략을 활용한다.
• 향후 연구를 지원하기 위해 대규모 3D 박스 패킹 데이터셋을 공개한다.

제안 방법

• 공유된 신경망 아키텍처를 사용하여 항목 패킹 순서와 방향을 동시에 예측하는 다중 작업 학습 프레임워크를 제안한다.
• 학습 진행 상황에 따라 딥 강화학습 손실과 지도학습 손실 간을 선택하는 동적 손실 선택 메커니즘인 '선택 학습(Selected Learning)'을 구현한다.
• 희소 보상 기반으로 장기적인 상자 표면적 최소화를 최적화하기 위해 강화학습을 사용한다.
• 초기 학습 단계에서 밀도 높은 지도 신호를 제공함으로써 수렴성과 안정성을 향상시키기 위해 지도학습을 통합한다.
• 환경 피드백(강화학습)과 참값 패킹 구성(지도학습)을 조합하여 모델을 엔드 투 엔드로 훈련한다.
• 상자 표면적을 주요 최적화 목표로 정의하며, 항목의 배치 및 방향 결정이 최종 비용에 직접적인 영향을 미친다.

실험 결과

연구 질문

• RQ1 고정되지 않은 크기의 3D 박스 패킹에서 통합된 딥 러닝 프레임워크는 항목 순서와 방향을 효과적으로 최적화할 수 있는가?
• RQ2 강화학습과 지도학습 간의 동적 손실 선택 전략은 조합 최적화 문제에서 학습 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 새로운 3D BPP 환경에서 기존 기준 방법 대비 상자 표면적을 얼마나 줄일 수 있는가?
• RQ4 다양한 항목 구성과 패킹 시나리오에 걸쳐 제안된 방법은 얼마나 일반화 가능한가?
• RQ5 대규모 기준 데이터셋은 3D 박스 패킹 연구의 재현 가능성과 진전에 어떤 영향을 미치는가?

주요 결과

• 제안된 다중 작업 선택 학습 프레임워크는 상자 표면적 최소화에서 기준 방법 대비 7.52%의 성능 향상을 달성한다.
• 동적 손실 선택 메커니즘이 고정 손실 대비 학습 안정성과 수렴 속도를 크게 향상시킨다.
• 방법은 항목 순서와 방향 결정을 효과적으로 조율하여 보다 밀도 높고 비용 효율적인 상자 구성으로 이어진다.
• 논문과 함께 공개된 대규모 3D 박스 패킹 데이터셋은 향후 고정되지 않은 크기의 3D BPP 연구에 유용한 기준이 된다.
• 수치 실험 결과, 제안된 방법을 사용할 경우 표면적은 표준 기준 방법 대비 상당히 감소함을 확인할 수 있다.
• 다양한 패킹 시나리오에 걸쳐 강력한 일반화 성능을 보이며, 입력 변동에 대한 내구성 있음을 입증한다.