[论文解读] Brick-by-Brick: Combinatorial Construction with Deep Reinforcement Learning

Hyunsoo Chung, Jungtaek Kim+5 more|arXiv (Cornell University)|Oct 29, 2021

Reinforcement Learning in Robotics参考文献 45被引用 9

一句话总结

本文提出了一种新颖的强化学习框架 Brick-by-Brick（B³），用于从不完整的2D目标视图中使用乐高式砖块组合构建3D物体。通过将装配过程建模为顺序图生成，并采用预训练的动作有效性网络过滤无效动作，该方法实现了高效的长时程规划，并在部分监督下以高精度成功构建了未见过的物体。

ABSTRACT

Discovering a solution in a combinatorial space is prevalent in many real-world problems but it is also challenging due to diverse complex constraints and the vast number of possible combinations. To address such a problem, we introduce a novel formulation, combinatorial construction, which requires a building agent to assemble unit primitives (i.e., LEGO bricks) sequentially -- every connection between two bricks must follow a fixed rule, while no bricks mutually overlap. To construct a target object, we provide incomplete knowledge about the desired target (i.e., 2D images) instead of exact and explicit volumetric information to the agent. This problem requires a comprehensive understanding of partial information and long-term planning to append a brick sequentially, which leads us to employ reinforcement learning. The approach has to consider a variable-sized action space where a large number of invalid actions, which would cause overlap between bricks, exist. To resolve these issues, our model, dubbed Brick-by-Brick, adopts an action validity prediction network that efficiently filters invalid actions for an actor-critic network. We demonstrate that the proposed method successfully learns to construct an unseen object conditioned on a single image or multiple views of a target object.

研究动机与目标

• 解决从不完整的目标信息（如2D图像或多视角图像）构建3D物体的挑战，而无需完整的体素监督。
• 将顺序砖块放置过程建模为具有复杂约束（包括不重叠和固定连接规则）的组合构建问题。
• 开发一个能够在动作空间大小可变且无效动作密度高的情况下进行长期规划和动作选择的强化学习智能体。
• 设计一种可扩展且高效的方案，利用预训练的有效性预测网络过滤无效动作，提升样本效率和训练稳定性。
• 在具有不同程度目标信息缺失的多样化构建场景中评估该方法，证明其对未见物体的泛化能力。

提出的方法

• 该方法将构建过程形式化为顺序图生成任务，其中每个砖块为一个节点，连接为边，从而实现结构化的状态表示。
• 图结构状态表示捕获了已组装砖块的当前配置及其相互连接关系，支持长期规划和状态追踪。
• 预训练的动作有效性预测网络用于在动作传递给演员-评论家网络之前识别并过滤掉无效动作（例如重叠的砖块），从而大幅减少有效动作空间。
• 演员-评论家强化学习框架采用基于交并比（IoU）的密集奖励函数，衡量当前构建结果与目标物体之间的IoU，以鼓励与期望形状的对齐。
• 环境在OpenAI Gym中实现，支持多种条件输入场景，包括单视角和多视角图像输入。
• 该方法在组合空间中运行，动作定义为在现有砖块上选择一个有效连接点以附加一个新的$2\times4$砖块，从而确保结构一致性。

实验结果

研究问题

• RQ1 强化学习智能体能否在无显式分步指令的情况下，从不完整的2D目标视图中学习构建3D物体？
• RQ2 预训练的动作有效性网络在高无效动作密度的组合构建任务中，能否有效缩小搜索空间并提升样本效率？
• RQ3 图结构状态表示在多长时程规划和对未见目标物体的泛化方面，其支持程度如何？
• RQ4 当目标信息完整度不同时（如单视角与多视角输入），该方法的性能如何变化？
• RQ5 在仅提供部分视觉监督的情况下，该方法能否泛化到训练分布外的新物体形状？

主要发现

• 所提出的 Brick-by-Brick（B³）方法能够成功地从单张2D图像或多视角图像中构建未见过的3D物体，证明了在部分监督下的强大泛化能力。
• 动作有效性预测网络通过过滤无效动作显著提升了训练效率，减少了有效动作空间，并避免了在滚动过程中进行昂贵的重叠检测。
• 该方法在构建复杂3D形状方面取得了高成功率，且随着提供更多目标视图，性能持续提升，表明其对输入完整度的敏感性。
• 图结构表示支持有效的长期规划和状态追踪，使智能体在整个构建过程中保持结构一致性。
• 基于IoU的奖励函数能有效引导智能体朝向与目标形状高度匹配的结构，IoU值越高，构建精度也越高。
• 该方法能很好地泛化到训练分布外的新物体形状，证实其能够从部分视觉输入中学习到组合性与语义理解能力。