[论文解读] A Generalized Reinforcement Learning Algorithm for Online 3D Bin-Packing

Richa Verma, Aniruddha Singhal+6 more|arXiv (Cornell University)|Jul 1, 2020

Optimization and Packing Problems参考文献 29被引用 7

一句话总结

本文提出 PackMan，一种用于在线 3D 装箱的深度强化学习算法，可在仅掌握部分未来物品信息的情况下实时确定最优的箱子放置与朝向。该方法在装箱效率和竞争比方面优于最先进启发式算法，无需微调即可泛化至任意尺寸的箱子，且通过仿真和真实机器人部署得到验证。

ABSTRACT

We propose a Deep Reinforcement Learning (Deep RL) algorithm for solving the online 3D bin packing problem for an arbitrary number of bins and any bin size. The focus is on producing decisions that can be physically implemented by a robotic loading arm, a laboratory prototype used for testing the concept. The problem considered in this paper is novel in two ways. First, unlike the traditional 3D bin packing problem, we assume that the entire set of objects to be packed is not known a priori. Instead, a fixed number of upcoming objects is visible to the loading system, and they must be loaded in the order of arrival. Second, the goal is not to move objects from one point to another via a feasible path, but to find a location and orientation for each object that maximises the overall packing efficiency of the bin(s). Finally, the learnt model is designed to work with problem instances of arbitrary size without retraining. Simulation results show that the RL-based method outperforms state-of-the-art online bin packing heuristics in terms of empirical competitive ratio and volume efficiency.

研究动机与目标

• 解决在线 3D 装箱问题，即仅能观察到部分未来物品，需实时做出物理上可实现的决策。
• 开发一种强化学习框架，学习在机器人约束（如自下而上的放置方式和有限自由度）下高效装箱。
• 设计一种可泛化的模型，无需微调即可适用于不同尺寸的箱子和物体分布，实现真实世界部署。
• 通过结合搜索启发式（WallE）与深度 Q 网络（DQN）来超越现有启发式算法，在最大化装箱效率和最小化箱子使用量方面实现优化。

提出的方法

• 使用深度 Q 网络（DQN）框架，在仅部分观测未来物品的模拟环境中学习最优箱子放置与朝向决策。
• 采用基于 3D 网格的信念状态表示箱子状态，输入特征包括箱子尺寸、当前箱子位置以及即将到达的物体尺寸。
• 使用基于装箱效率和箱子利用率的密集奖励函数对 DQN 代理进行训练，以鼓励高体积效率和低竞争比。
• 采用两阶段方法：首先应用 WallE 启发式算法生成候选放置位置，然后使用 DQN 从这些候选中选择最优方案。
• 通过迁移学习策略，使用大规模问题（如 16 个箱子）预训练的 DQN 策略直接部署于小规模实例（如 3 个箱子）上，无需微调。
• 在真实机器人系统中验证策略，考虑传感器和执行器噪声，通过增加 1–2 cm 安全间隙调整信念状态，以防止碰撞。

实验结果

研究问题

• RQ1 深度强化学习代理是否能在仅掌握部分未来物品信息的情况下，实时学习到高效且物理上可行的装箱决策？
• RQ2 所提出的基于强化学习的方法（PackMan）在竞争比和装箱效率方面与最先进在线启发式算法相比表现如何？
• RQ3 训练好的强化学习策略在无需微调的情况下，能在多大程度上泛化至不同尺寸的箱子和物体尺寸分布？
• RQ4 在真实机器人手臂上部署学习到的装箱策略时面临哪些实际挑战，如何加以缓解？

主要发现

• PackMan 在所有测试运行中竞争比均低于 1.4，优于最佳已知启发式算法（AH）的理论下限 1.58，表明其具有更优的实证性能。
• PackMan 的平均装箱率高达 82.8%，显著高于 WallE（57%）及其他启发式算法，证明其在体积效率方面表现更优。
• 在测试更小尺寸箱子（每轮数量加倍）时，PackMan 的装箱效率仅轻微下降，表明其对输入规模和分布变化具有鲁棒性。
• 迁移学习使 PackMan 在使用 16 个箱子数据预训练的策略部署至 3 个箱子问题时，性能几乎完全一致，且无需重新训练。
• 在真实机器人部署中，由于传感器噪声导致信念状态不准确，引发碰撞，通过提高网格分辨率并增加 1–2 cm 安全间隙得以缓解。
• 每次决策的推理时间低于 40 ms，证实了其在机器人系统上实时部署的可行性。