[论文解读] Modeling 3D Shapes by Reinforcement Learning

Cheng Lin, Tingxiang Fan+2 more|arXiv (Cornell University)|Mar 27, 2020

3D Shape Modeling and Analysis参考文献 32被引用 8

一句话总结

该论文提出了一种两阶段深度强化学习框架——Prim-Agent 和 Mesh-Agent，通过先将形状分解为基本几何体，再编辑其网格，从而模仿人类的 3D 建模过程。通过结合启发式策略、模仿学习与强化学习，该框架使智能体能够生成结构感知性强、规则性高的 3D 网格模型，其重建质量优于基线方法。

ABSTRACT

We explore how to enable machines to model 3D shapes like human modelers using deep reinforcement learning (RL). In 3D modeling software like Maya, a modeler usually creates a mesh model in two steps: (1) approximating the shape using a set of primitives; (2) editing the meshes of the primitives to create detailed geometry. Inspired by such artist-based modeling, we propose a two-step neural framework based on RL to learn 3D modeling policies. By taking actions and collecting rewards in an interactive environment, the agents first learn to parse a target shape into primitives and then to edit the geometry. To effectively train the modeling agents, we introduce a novel training algorithm that combines heuristic policy, imitation learning and reinforcement learning. Our experiments show that the agents can learn good policies to produce regular and structure-aware mesh models, which demonstrates the feasibility and effectiveness of the proposed RL framework.

研究动机与目标

• 使机器能够通过强化学习学习到类似于人类艺术家的 3D 建模策略。
• 解决在复杂 3D 几何编辑任务中，稀疏奖励环境下的强化学习智能体训练挑战。
• 开发一种有效结合启发式策略、模仿学习与强化学习的训练框架，以提升策略学习效果。
• 生成保持几何层次结构与拓扑关系的规则、结构感知型 3D 网格模型。

提出的方法

• 该框架采用两阶段强化学习流水线：Prim-Agent 将目标形状解析为一组几何基本体，Mesh-Agent 则对这些基本体的网格进行编辑。
• 智能体与模拟的 3D 建模环境交互，根据形状重建质量获取动作与奖励。
• 启发式策略作为“虚拟专家”生成初始示范数据，用于交互式模仿学习阶段。
• 该方法结合监督式模仿学习与深度 Q 网络（DQN），并引入一种新颖的双回放缓冲区机制以稳定训练过程。
• 通过边环（edge loops）进行网格编辑，以保持网格规则性并控制复杂几何操作。
• 训练流水线整合了启发式引导、交互式模仿学习与端到端强化学习，从而提升样本效率与策略性能。

实验结果

研究问题

• RQ1 强化学习智能体能否以模仿人类建模工作流的方式学习 3D 形状建模？
• RQ2 启发式策略与模仿学习如何提升 3D 建模强化学习中的样本效率？
• RQ3 基于边环的网格编辑能否在几何优化过程中保持结构规则性？
• RQ4 在 3D 形状建模中，结合模仿学习与强化学习是否优于单独使用模仿学习或强化学习？
• RQ5 该框架能否泛化到不同输入参考，如 RGB 图像或深度图？

主要发现

• 所提方法在所有类别中均实现了最高的平均累积奖励，其中在深度图参考下，Prim-Agent 的平均累积奖励为 0.179，Mesh-Agent 为 0.313。
• 该框架在奖励累积与重建质量方面均优于基线方法，包括 DQfD、DAgger* 和标准 DDQN。
• Chamfer 距离（CD）与 IoU 指标显示，该方法在测试集上实现了 0.0476 的 CD 与 0.614 的 IoU，表明具有高保真度的形状重建效果。
• 智能体在以 RGB 图像作为输入时也表现出良好的泛化能力，Prim-Agent 在各类别中分别实现了 0.721、0.877 和 0.991 的平均奖励。
• 失败案例揭示了在稀疏奖励区域中难以捕捉细长或高度细节化的结构，提示需在这些区域引入奖励塑形。
• 消融实验确认，结合启发式策略、模仿学习与强化学习的组合性能优于任一单一组件。