[论文解读] Every Mistake Counts in Assembly

Guodong Ding, Fadime Şener+2 more|arXiv (Cornell University)|Jul 31, 2023

Manufacturing Process and OptimizationEngineering被引用 3

一句话总结

该论文提出了一种基于知识的系统，通过从现实世界动作序列中学习空间和时间信念，检测装配流程中的顺序错误。采用在线、情景记忆框架，动态推断拓扑关系和前置约束，在细粒度错误检测上达到71.8%的F1分数，显著优于LSTM和TempAgg基线模型。

ABSTRACT

One promising use case of AI assistants is to help with complex procedures like cooking, home repair, and assembly tasks. Can we teach the assistant to interject after the user makes a mistake? This paper targets the problem of identifying ordering mistakes in assembly procedures. We propose a system that can detect ordering mistakes by utilizing a learned knowledge base. Our framework constructs a knowledge base with spatial and temporal beliefs based on observed mistakes. Spatial beliefs depict the topological relationship of the assembling components, while temporal beliefs aggregate prerequisite actions as ordering constraints. With an episodic memory design, our algorithm can dynamically update and construct the belief sets as more actions are observed, all in an online fashion. We demonstrate experimentally that our inferred spatial and temporal beliefs are capable of identifying incorrect orderings in real-world action sequences. To construct the spatial beliefs, we collect a new set of coarse-level action annotations for Assembly101 based on the positioning of the toy parts. Finally, we demonstrate the superior performance of our belief inference algorithm in detecting ordering mistakes on the Assembly101 dataset.

研究动机与目标

• 开发一种能够检测家具或玩具装配等程序性装配任务中顺序错误的AI助手。
• 不仅将装配流程建模为动作序列，更将其建模为具有空间和时间约束的结构化知识。
• 通过随动作逐步构建信念集合，实现实时错误检测。
• 通过引入上下文相关的正确性判断，改进现有异常或非预期动作检测方法。
• 为Assembly101提供一种新的粗粒度部件间标注集，以明确动作中的结构关系。

提出的方法

• 构建一个知识库，包含两类信念集合：用于描述部件之间拓扑关系（如车轮安装在底盘上）的空间信念，以及用于描述动作顺序前置关系的时间信念。
• 采用在线、情景记忆设计（BeliefBuilder），在每个动作按顺序被观察时，逐步更新信念。
• 应用RuleBuilder，从观察到的错误和正确序列中推断传递性和非传递性时间约束。
• 使用动态推理引擎（Inferencer），在每一步都查阅信念库，将动作分类为正确、错误、纠正或不必要。
• 利用为Assembly101新设计的粗粒度标注方案，明确标识每个动作中的相互作用部件对。
• 在Assembly101数据集上采用四折交叉验证协议进行训练与评估，以各类别的精确率、召回率和F1分数作为指标。

实验结果

研究问题

• RQ1 能否从现实世界的装配序列中有效学习到空间和时间信念的知识库，以检测顺序错误？
• RQ2 与静态或批处理学习方法相比，在线信念构建在错误检测性能上有多大提升？
• RQ3 所学信念在多大程度上能泛化到多样化的动作序列中，并捕捉上下文相关的正确性？
• RQ4 与LSTM和TempAgg等序列模型相比，所提方法在检测细粒度顺序错误方面表现如何？
• RQ5 在类别极度不平衡的情况下，系统能否有效区分纠正动作与正确动作？

主要发现

• 所提方法在细粒度错误检测上达到70.6%的召回率和71.8%的F1分数，显著优于LSTM（35.2%召回率，61.3% F1）和TempAgg（36.6%召回率，59.9% F1）。
• 在“正确”类别上，系统达到93.1%的精确率，表明其对有效动作的识别具有高度置信。
• 与LSTM不同，后者将100%的细粒度顺序错误（B、C、D）误判为正确，而所提方法能正确识别这些错误。
• 信念推理系统生成了48条时间规则，其中23条为传递性规则，全部与玩具部件的几何约束一致。
• 该方法减少了对拆卸动作（E、F）与正确安装动作（A）的混淆，避免了LSTM中常见的误分类问题。
• 新设计的部件间标注集有助于更清晰地建模结构关系，提升了信念学习的可解释性与准确性。