[논문 리뷰] Attend2Pack: Bin Packing through Deep Reinforcement Learning with Attention

Jingwei Zhang, Bin Zi외 1명|arXiv (Cornell University)|2021. 07. 09.

Optimization and Packing Problems참고 문헌 38인용 수 16

한 줄 요약

Attend2Pack는 자기주의 어텐션 메커니즘과 우선순위가 부여된 오버샘플링을 사용하여 조합적 행동 공간을 분해함으로써 오프라인 백킹에 대한 엔드 투 엔드 딥 강화학습 모델을 제안한다. 이는 2D 및 3D 백킹 벤치마크에서 최신 기술 성능을 달성하며, 미래의 아이템이 알려지지 않은 엄격한 온라인-BPP 설정에서도 평균 67.0%의 활용도를 기록했으며, 에피소드당 평균 15.6개의 아이템을 포장한다.

ABSTRACT

This paper seeks to tackle the bin packing problem (BPP) through a learning perspective. Building on self-attention-based encoding and deep reinforcement learning algorithms, we propose a new end-to-end learning model for this task of interest. By decomposing the combinatorial action space, as well as utilizing a new training technique denoted as prioritized oversampling, which is a general scheme to speed up on-policy learning, we achieve state-of-the-art performance in a range of experimental settings. Moreover, although the proposed approach attend2pack targets offline-BPP, we strip our method down to the strict online-BPP setting where it is also able to achieve state-of-the-art performance. With a set of ablation studies as well as comparisons against a range of previous works, we hope to offer as a valid baseline approach to this field of study.

연구 동기 및 목표

• 백킹 문제에 대한 기존 히우리스틱 및 정확한 알고리즘의 계산적 제약 및 일반화 능력의 한계를 해결한다.
• 다양한 백킹 시나리오에 일반화 가능한 스케일러블한 엔드 투 엔드 딥 강화학습 모델을 개발한다.
• 크기 큰 행동 공간을 가진 조합 최적화 문제에서의 온정책 학습 과제를 해결하기 위해 새로운 학습 기법을 도입한다.
• 오프라인-BPP 이외에도 미래의 아이템이 포장 중에 알려지지 않은 엄격한 온라인-BPP 설정에서도 뛰어난 성능을 입증한다.

제안 방법

• 자기주의 어텐션 기반 인코더를 사용하여 상자 상태와 남은 아이템을 표현함으로써 아이템 구성 간 장거리 의존성을 포착한다.
• 조합적 행동 공간을 순서 생성과 배치 결정으로 분해함으로써 구조적인 정책 학습을 가능하게 한다.
• 우선순위가 부여된 오버샘플링을 도입함—이 학습 기법은 고보상 전이에 집중함으로써 온정책 학습을 가속화한다.
• 이중 스트림 정책 네트워크를 사용한다: 하나는 아이템 배치 순서를 생성하기 위한 (π^s), 다른 하나는 배치 좌표를 예측하기 위한 (π^p), 양자 모두 공유된 어텐션 특징을 사용한다.
• 정책 기반 보상 함수 r_u = (아이템 부피의 합) / (상자 부피) 를 적용하여 정책 기반 강화학습을 통해 정책 최적화를 이끈다.
• 남은 아이템 임베딩을 배치 정책에서 제거함으로써 엄격한 온라인-BPP에 모델을 적응시켜 추론 중에 미래 아이템 정보 유출을 방지한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 어텐션 기반 딥 강화학습 모델은 복잡한 3D 아이템 구성이 있는 오프라인 백킹 문제에서 기존 방법을 능가할 수 있는가?
• RQ2 우선순위가 부여된 오버샘플링은 행동 공간이 큰 조합 최적화 문제에서 온정책 학습을 얼마나 효과적으로 가속화하는가?
• RQ3 오프라인-BPP에서 미리 학습된 모델이 아이템 순서가 사전에 알려지지 않은 엄격한 온라인-BPP 설정으로 얼마나 잘 일반화되는가?
• RQ4 자기주의 어텐션과 순서 모델링과 같은 아키텍처 구성 요소가 백킹 문제에서 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 제안된 방법은 컷 생성 및 무작위로 샘플된 상자 포함 다양한 데이터 분포에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 엄격한 온라인-BPP 설정에서 평균 15.6개의 아이템을 포장할 때 Attend2Pack는 평균 67.0%의 상자 활용도를 달성하였으며, 유사 조건에서 54.7%에 그친 이전 연구(Zhao et al., 2021)를 능가한다.
• 컷 생성 3D 백킹 인스턴스에서 Attend2Pack는 2D 및 3D 설정 모두에서 이전 최신 기술 방법(Laterre et al., 2019)을 뛰어넘는 최신 기술 성능을 기록한다.
• 크기 100×100인 상자에 대해 무작위로 생성된 3D 박스에서 Attend2Pack는 테스트된 모든 인스턴스 크기(20, 30, 50, 100개 아이템)에서 최신 기술 성능을 달성하였으며, 안정적인 학습 곡선과 향상된 일반화 능력을 보였다.
• 제거 실험을 통해 자기주의 어텐션 메커니즘과 잔여 아이템 임베딩의 포함 여부가 성능 향상에 크게 기여하며, 특히 순서 정책(π^s)이 더 나은 아이템 순서 결정에 기여함을 확인하였다.
• 우선순위가 부여된 오버샘플링 기법은 온정책 학습을 효과적으로 가속화하여 학습의 불안정성을 감소시키고 수렴 속도를 향상시켰다.
• 100개 아이템 인스턴스 학습 중 단 한 번의 치명적인 기억 상실 사고가 있었음에도 불구하고, 모델의 성능은 유연하게 유지되었으며 추가 학습 런을 통해 일관된 최신 기술 성능을 확인하였다.