[论文解读] Learning Practically Feasible Policies for Online 3D Bin Packing

Hang Zhao, Chenyang Zhu+3 more|arXiv (Cornell University)|Aug 31, 2021

Optimization and Packing Problems参考文献 51被引用 6

一句话总结

本文提出一种基于深度强化学习的在线3D bin packing方法，针对部分物品序列观测场景，采用新颖的堆叠树结构实现高效的稳定性分析，通过解耦策略学习实现高分辨率空间放置，结合远到近的奖励函数以减少机器人碰撞。在真实世界测试中，该方法实现了77.9%的装箱利用率，优于人类和当前最先进基线方法。

ABSTRACT

We tackle the Online 3D Bin Packing Problem, a challenging yet practically useful variant of the classical Bin Packing Problem. In this problem, the items are delivered to the agent without informing the full sequence information. Agent must directly pack these items into the target bin stably without changing their arrival order, and no further adjustment is permitted. Online 3D-BPP can be naturally formulated as Markov Decision Process (MDP). We adopt deep reinforcement learning, in particular, the on-policy actor-critic framework, to solve this MDP with constrained action space. To learn a practically feasible packing policy, we propose three critical designs. First, we propose an online analysis of packing stability based on a novel stacking tree. It attains a high analysis accuracy while reducing the computational complexity from $O(N^2)$ to $O(N \log N)$, making it especially suited for RL training. Second, we propose a decoupled packing policy learning for different dimensions of placement which enables high-resolution spatial discretization and hence high packing precision. Third, we introduce a reward function that dictates the robot to place items in a far-to-near order and therefore simplifies the collision avoidance in movement planning of the robotic arm. Furthermore, we provide a comprehensive discussion on several key implemental issues. The extensive evaluation demonstrates that our learned policy outperforms the state-of-the-art methods significantly and is practically usable for real-world applications.

研究动机与目标

• 解决在线3D bin packing挑战，其中物品序列仅部分可观测，且需实时决策。
• 开发一种强化学习框架，生成适用于机器人系统的实际可行、稳定且避碰的装箱策略。
• 通过引入新颖的架构与奖励设计组件，克服先前研究在稳定性分析精度、空间分辨率和机器人运动规划方面的局限。
• 在保持计算效率的同时，实现高达100×100的空间离散化，支持高精度装箱。
• 在真实机器人部署中，证明其性能显著优于人类专家和现有算法。

提出的方法

• 提出一种堆叠树数据结构，实现在线、O(N log N)的稳定性分析，准确率达99.9%，替代原有的O(N²)静态平衡检测。
• 引入一种解耦策略学习框架，分别建模沿长度、宽度和方向维度的放置决策，并考虑条件依赖关系。
• 采用基于策略的演员-critic强化学习框架，在马尔可夫决策过程（MDP）中优化策略，受限于动作空间。
• 设计一种远到近的奖励函数，鼓励从远距离到近距离的位置放置物品，简化机械臂运动规划并减少碰撞。
• 使用RGB-D传感器实时检测进入的物品，基于相机可视性动态调整k项前瞻，支持具有可变观测窗口的BPP-k模式。
• 在训练过程中应用可行性掩码，强制执行物理约束（如箱体容量和稳定性），确保仅考虑合法动作。

Figure 1: Online 3D-BPP has widely practical applications in logistics, manufacture, warehousing, etc. Left: The agent can only observe the next item to be packed (shaded in red). Right: More items (shaded in green) can be observed with additional sensors.

实验结果

研究问题

• RQ1 深度强化学习智能体能否在部分序列观测下学习到稳定且高精度的3D装箱策略？
• RQ2 在强化学习训练过程中，如何实现实时、高效且准确的装箱稳定性分析？
• RQ3 解耦策略学习能否在不带来计算成本指数级增长的前提下，实现高分辨率空间离散化？
• RQ4 远到近的放置奖励函数是否能显著降低机器人碰撞并简化运动规划？
• RQ5 在真实机器人部署中，所学策略与人类直觉及现有启发式方法相比表现如何？

主要发现

• 所提出的堆叠树实现了O(N log N)的稳定性分析，准确率达99.9%，相比O(N²)方法计算成本降低多个数量级。
• 解耦策略学习框架支持高达100×100的空间离散化，实现了先前方法无法达到的高精度装箱。
• 在真实世界测试中，BPP-k方法实现了77.9%的装箱利用率，显著优于人类专家（56.3%）和BPH基线方法。
• 在BPP-1和BPP-k模式下，50组测试序列中均实现了100%的装箱稳定性，证明了其在真实部署中的鲁棒性。
• 在BPP-k模式下，采用无碰撞奖励后，碰撞率为0%，而无该奖励时为35%，证实其在运动规划中的有效性。
• 在与人类玩家的直接对比测试中，AI智能体在2,104轮中获胜1,772轮，表现优于人类直觉。

Figure 2: The environment state of the agent. The grey boxes indicate the items already packed, which also represents the bin configuration. The green box is the next item to be packed and it can only be placed at the grid cell where feasibility mask $\mathbf{M}$ is 1. Right: The network architectur