[論文レビュー] Learning Practically Feasible Policies for Online 3D Bin Packing

Hang Zhao, Chenyang Zhu+3 more|arXiv (Cornell University)|Aug 31, 2021

Optimization and Packing Problems参考文献 51被引用数 6

ひとこと要約

本論文は、部分的なアイテム順序観測を伴うオンライン3次元バインディングパッキングのための深層強化学習手法を提案する。安定性解析のための新規スタッキングツリー、高分解能空間配置のための分離型ポリシー学習、およびロボットの衝突を低減するための遠くから近くへの報酬関数を用いる。実世界のテストでは77.9%の空間利用率を達成し、人間や最先端のベースラインを上回った。

ABSTRACT

We tackle the Online 3D Bin Packing Problem, a challenging yet practically useful variant of the classical Bin Packing Problem. In this problem, the items are delivered to the agent without informing the full sequence information. Agent must directly pack these items into the target bin stably without changing their arrival order, and no further adjustment is permitted. Online 3D-BPP can be naturally formulated as Markov Decision Process (MDP). We adopt deep reinforcement learning, in particular, the on-policy actor-critic framework, to solve this MDP with constrained action space. To learn a practically feasible packing policy, we propose three critical designs. First, we propose an online analysis of packing stability based on a novel stacking tree. It attains a high analysis accuracy while reducing the computational complexity from $O(N^2)$ to $O(N \log N)$, making it especially suited for RL training. Second, we propose a decoupled packing policy learning for different dimensions of placement which enables high-resolution spatial discretization and hence high packing precision. Third, we introduce a reward function that dictates the robot to place items in a far-to-near order and therefore simplifies the collision avoidance in movement planning of the robotic arm. Furthermore, we provide a comprehensive discussion on several key implemental issues. The extensive evaluation demonstrates that our learned policy outperforms the state-of-the-art methods significantly and is practically usable for real-world applications.

研究の動機と目的

• アイテム順序が部分的に観測可能であり、リアルタイムでの意思決定が求められるオンライン3次元バインディングパッキングの課題に対処すること。
• ロボットシステムに実用的で、安定的かつ衝突回避可能なパッキングポリシーを生成する強化学習フレームワークを開発すること。
• 新規なアーキテクチャ的および報酬設計の要素を導入することで、先行研究における安定性解析の正確性、空間分解能、ロボットの運動計画の限界を克服すること。
• 計算効率を維持したまま、100×100の空間量子化まで可能な高精度パッキングを可能にすること。
• 実世界のロボットデプロイメントにおいて、人間の専門家や既存のアルゴリズムを上回る優れたパフォーマンスを示すこと。

提案手法

• O(N log N)の安定性解析を可能にするスタッキングツリーというデータ構造を提案。静的平衡チェックのO(N²)手法に代わり、99.9%の精度を達成。
• 長さ、幅、方向の各次元における配置意思決定を別々にモデル化し、条件付き依存関係を考慮する分離型ポリシー学習フレームワークを導入。
• 制約付き行動空間におけるマルコフ決定過程（MDP）において、ポリシーを最適化するためのオンポリシー型アクタ・クリティック強化学習フレームワークを採用。
• 遠くから近くへの配置を促進する報酬関数を設計。ロボットアームの運動計画を単純化し、衝突を低減する。
• RGB-Dセンサーを用いて、到着するアイテムをリアルタイムで検出。カメラの視認性に基づき動的にk個のアイテムを先読みする。これにより、可変な観測ウィンドウを持つBPP-kモードを実現。
• 訓練中に物理的制約（バインディング容量、安定性など）を強制するための妥当性マスクを適用。これにより、有効な行動のみが考慮される。

Figure 1: Online 3D-BPP has widely practical applications in logistics, manufacture, warehousing, etc. Left: The agent can only observe the next item to be packed (shaded in red). Right: More items (shaded in green) can be observed with additional sensors.

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、部分的な順序観測下でも、安定的かつ高精度な3次元パッキングポリシーを学習できるか？
• RQ2 強化学習の訓練中に、リアルタイムで効率的かつ正確に安定性を解析できるか？
• RQ3 分離型ポリシー学習は、計算コストが著しく増大することなく、高分解能空間量子化を可能にするか？
• RQ4 遠くから近くへの配置報酬関数は、ロボットの衝突を顕著に低減し、運動計画を単純化するか？
• RQ5 実世界のロボットデプロイメントにおいて、学習済みポリシーは人間の直感や既存のヒューリスティック手法と比較して優れているか？

主な発見

• 提案されたスタッキングツリーにより、O(N log N)の安定性解析が99.9%の精度で実現され、O(N²)手法と比較して計算コストが桁違いに低減した。
• 分離型ポリシー学習フレームワークにより、最大100×100の空間量子化が可能となり、従来手法では達成できなかった高精度パッキングを実現した。
• 実世界のテストでは、BPP-k手法が77.9%の空間利用率を達成。人間の専門家（56.3%）およびBPHベースラインを著しく上回った。
• BPP-1およびBPP-kの50件のテストシーケンスにおいて、100%のパッキング安定性を達成。実デプロイメントにおける耐障害性を示した。
• 衝突回避報酬を導入した結果、BPP-kモードでは衝突率が0%にまで低下した。報酬なしでは35%の衝突率を示したため、運動計画における有効性が確認された。
• 人間プレイヤーとの直接対決では、2,104試合中1,772試合でAIエージェントが勝利。人間の直感を上回る優れたパフォーマンスを示した。

Figure 2: The environment state of the agent. The grey boxes indicate the items already packed, which also represents the bin configuration. The green box is the next item to be packed and it can only be placed at the grid cell where feasibility mask $\mathbf{M}$ is 1. Right: The network architectur