[论文解读] Deep Set Prediction Networks

Yan Zhang, Jonathon Hare+1 more|arXiv (Cornell University)|Jun 15, 2019

Medical Image Segmentation Techniques参考文献 26被引用 29

一句话总结

该论文提出深度集合预测网络（Deep Set Prediction Networks），一种可微分、支持反向传播的模型，能够从特征向量预测可变大小的集合，同时保持排列不变性。通过可学习的集合编码器对集合预测进行迭代优化，并最小化表示损失，该模型避免了标准MLP固有的不连续性，在Clevr数据集上的目标检测和属性预测等集合预测任务中达到最先进性能。

ABSTRACT

Current approaches for predicting sets from feature vectors ignore the unordered nature of sets and suffer from discontinuity issues as a result. We propose a general model for predicting sets that properly respects the structure of sets and avoids this problem. With a single feature vector as input, we show that our model is able to auto-encode point sets, predict the set of bounding boxes of objects in an image, and predict the set of attributes of these objects.

研究动机与目标

• 解决标准神经网络中因集合元素任意排序而导致的集合预测不连续性问题。
• 开发一种在预测过程中正确尊重集合排列不变结构的深度学习模型。
• 通过集合解码器实现向量到集合预测任务的端到端训练，支持反向传播。
• 在多样化的集合预测任务（包括点云自编码与带属性的目标检测）中展示模型的有效性。
• 提供一种通用的集合预测框架，避免依赖后处理技术（如非极大值抑制）。

提出的方法

• 提出一种可微分的迭代优化机制，从初始集合预测出发，通过集合编码器逐步优化。
• 使用可学习的集合编码器将预测集合映射到潜在表示，并通过表示损失将该表示与目标特征向量进行比较。
• 通过反向传播最小化编码预测集合与目标特征向量 $ \mathbf{z} $ 之间的表示损失 $ L_{\text{repr}} $。
• 在训练过程中应用匈牙利损失 $ L_{\text{hun}} $ 进行监督，以确保预测集合与真实集合之间的元素正确匹配。
• 将预测集合 $ \mathbf{Y}^{(0)} $ 初始化为可学习嵌入或MLP头，并在 $ T $ 次迭代中逐步优化。
• 通过使用对每个元素独立应用神经网络并以排列不变操作（如求和）聚合的集合编码器，确保排列不变性。

实验结果

研究问题

• RQ1 是否可以训练一个深度神经网络，使其在预测集合时保持排列不变性并避免不连续性？
• RQ2 通过集合编码器进行的迭代优化，相较于直接使用MLP输出预测，能否显著提升集合预测性能？
• RQ3 该模型在不同集合大小和元素维度下，其泛化能力如何？
• RQ4 该模型是否能在无需基于锚点或后处理技术的情况下，在复杂集合预测基准（如CLEVR）上实现最先进性能？
• RQ5 即使训练时仅使用较少步骤，推理时的长周期优化是否仍能带来性能提升？

主要发现

• 在使用30次推理迭代时，该模型在CLEVR属性预测任务上达到85.2%的平均精度（AP∞），显著优于MLP基线（3.6%）和RNN基线（4.0%）。
• 在CLEVR边界框预测任务中，该模型在20次推理迭代下达到84.0% AP∞，表明其在无需非极大值抑制的情况下具备强大的目标检测泛化能力。
• 随着推理时间迭代次数的增加，性能持续提升，表明初始潜在表示 $ \mathbf{z} $ 有效且可进一步优化。
• 当迭代次数超过20步（如30步）时，性能略有下降，表明可能存在因仅用10步训练导致的过拟合或过度优化，提示需要更优的初始化或停止策略。
• 该模型在集合大小（10至342个元素）和维度（2D至18D）上均表现出良好泛化能力，证明其对多样化集合预测任务具有鲁棒性。
• 表示损失 $ L_{\text{repr}} $ 有效引导了优化过程，且在推理阶段进一步最小化该损失可提升性能，表明潜在代码 $ \mathbf{z} $ 能够捕捉有意义的集合结构。