[论文解读] Imagine That! Leveraging Emergent Affordances for 3D Tool Synthesis

Yizhe Wu, Sudhanshu Kasewa+5 more|arXiv (Cornell University)|Sep 30, 2019

Manufacturing Process and Optimization参考文献 47被引用 4

一句话总结

本文提出了一种通过利用基于视觉的生成模型潜在空间中的涌现效用（affordances）来实现3D工具合成的方法。通过使用基于任务的性能预测器来引导潜在空间中的激活最大化，模型在几何属性（如长度、宽度、形状）上通过平滑且可解释的轨迹想象并生成适合任务的工具，实现在未见抓取任务上的83.8%成功率——表明效用作为潜在空间中的结构化路径自然涌现。

ABSTRACT

In this paper we explore the richness of information captured by the latent space of a vision-based generative model. The model combines unsupervised generative learning with a task-based performance predictor to learn and to exploit task-relevant object affordances given visual observations from a reaching task, involving a scenario and a stick-like tool. While the learned embedding of the generative model captures factors of variation in 3D tool geometry (e.g. length, width, and shape), the performance predictor identifies sub-manifolds of the embedding that correlate with task success. Within a variety of scenarios, we demonstrate that traversing the latent space via backpropagation from the performance predictor allows us to imagine tools appropriate for the task at hand. Our results indicate that affordances-like the utility for reaching-are encoded along smooth trajectories in latent space. Accessing these emergent affordances by considering only high-level performance criteria (such as task success) enables an agent to manipulate tool geometries in a targeted and deliberate way.

研究动机与目标

• 探究基于任务的结构化潜在空间探索是否能够生成有意义且适合任务的3D工具。
• 探究诸如可达性等物体效用是否作为生成模型潜在空间中的平滑轨迹自然涌现。
• 开发一种混合架构，结合无监督生成学习与高层性能预测器，以实现目标导向的工具操作。
• 证明高层任务成功标准可引导3D工具形状中可解释的几何修改，而无需对形状因子进行显式监督。

提出的方法

• 在3D工具网格上训练变分自编码器（VAE），以学习捕捉长度、宽度和形状等几何因子的结构化潜在空间。
• 训练一个基于任务的性能预测器（分类器），利用场景的视觉观测和工具几何信息来预测抓取任务的成功率。
• 在推理阶段，对性能预测器的输出应用激活最大化，通过潜在空间反向传播，将工具的潜在表示向更高预测成功率的方向优化。
• 更新后的潜在码被解码为新的3D网格，使智能体能够‘想象’出针对当前任务的改进工具形态。
• 通过与任务无关模型和随机游走基线进行对比，隔离出任务引导优化的贡献。
• 模型通过联合目标端到端训练：VAE重构损失与性能预测器的交叉熵损失，使潜在空间编码出与任务相关的解耦因子。

实验结果

研究问题

• RQ1 能否将诸如可达性等涌现效用编码为生成模型潜在空间中的平滑轨迹？
• RQ2 高层性能预测器能否通过潜在空间优化引导出有意义且可解释的3D工具几何修改？
• RQ3 基于任务的潜在空间遍历是否比随机或任务无关的探索更有效地实现工具合成？
• RQ4 在工具想象过程中，该模型在未见场景类型上的泛化能力如何？

主要发现

• 任务驱动模型在生成未见抓取任务的工具时，实现了83.8%的全局成功率，显著优于任务无关基线模型的63.6%。
• 随机游走基线模型由于在潜在空间中随机探索，未能找到合适的工具，表明无引导探索效率低下。
• 定性结果表明，该模型通过插值垂直与水平部件等不同几何组件，生成了新型工具形态（如T形或钩状工具）。
• 该模型能够以平滑、连续的方式修改可解释的几何因子（如长度、宽度和构型），表明这些因子在潜在空间中被编码为轨迹。
• 性能预测器成功识别并引导模型沿着潜在空间中对应于任务相关效用（如提升可达性）的子流形移动。
• 结果表明，当由高层任务目标引导时，效用自然地作为潜在空间中的结构化路径涌现，而非显式编码。