[论文解读] Deep Perm-Set Net: Learn to predict sets with unknown permutation and cardinality using deep neural networks

S. Hamid Rezatofighi, Roman Kaskman+5 more|arXiv (Cornell University)|May 2, 2018

Advanced Neural Network Applications参考文献 1被引用 20

一句话总结

本文提出 Deep Perm-Set Net，一种深度学习框架，通过将排列视为未观测变量并利用交替优化估计其分布，使神经网络能够预测未知排列和可变基数的集合。该方法在目标检测任务中表现达到最先进水平，并通过学习类似算术的推理能力，解决了复杂的 CAPTCHA 任务，而无需显式规则。

ABSTRACT

Many real-world problems, e.g. object detection, have outputs that are naturally expressed as sets of entities. This creates a challenge for traditional deep neural networks which naturally deal with structured outputs such as vectors, matrices or tensors. We present a novel approach for learning to predict sets with unknown permutation and cardinality using deep neural networks. Specifically, in our formulation we incorporate the permutation as unobservable variable and estimate its distribution during the learning process using alternating optimization. We demonstrate the validity of this new formulation on two relevant vision problems: object detection, for which our formulation outperforms state-of-the-art detectors such as Faster R-CNN and YOLO, and a complex CAPTCHA test, where we observe that, surprisingly, our set based network acquired the ability of mimicking arithmetics without any rules being coded.

研究动机与目标

• 解决现有深度神经网络在处理目标检测等视觉任务中无序且可变大小输出（如集合）时的局限性。
• 实现在无需依赖非极大值抑制等启发式后处理方法情况下的集合预测端到端训练。
• 将集合元素的未知排列建模为未观测变量，并在训练过程中估计其分布。
• 在真实世界问题（如目标检测和复杂 CAPTCHA 求解）中证明该框架的有效性。
• 展示网络能够在无需显式编码规则的情况下，隐式学习集合任务中的类似算术的推理能力。

提出的方法

• 该模型将集合元素的排列视为未观测变量，并在训练过程中使用交替优化来估计其分布。
• 将集合预测任务表述为对网络参数和潜在排列变量的联合优化。
• 该框架采用深度神经网络主干网络（如 ResNet-101）从图像等结构化输入中提取特征。
• 在训练过程中，模型最小化一个损失函数，该函数考虑了预测集合的所有可能排列，并使用可微松弛来处理离散排列。
• 该方法实现了端到端学习，使网络能够输出一组边界框或数字，而无需固定大小或有序表示。
• 该框架通过学习预测元素与真实值匹配的最可能排列，支持实例的检测与识别。

实验结果

研究问题

• RQ1 是否可以训练深度神经网络在不依赖启发式后处理的情况下，预测具有未知排列和可变基数的集合？
• RQ2 将集合元素的排列建模为未观测变量是否能提升集合预测任务中的学习性能？
• RQ3 所提出的框架是否能在无需显式规则的情况下，实现类似算术的推理能力（如在 CAPTCHA 求解任务中）的隐式学习？
• RQ4 与 Faster R-CNN 和 YOLO 等最先进检测器相比，该模型在高遮挡情况下的目标检测性能如何？
• RQ5 学习到的排列分布是否有助于识别模糊或外观相似实例中的主导排序模式？

主要发现

• 所提出的 Deep Perm-Set Net 在模拟和真实数据集上的目标检测任务中，优于 Faster R-CNN 和 YOLO v2，尤其在高遮挡情况下表现更优。
• 在识别外观相似物体的任务中，网络实现了 81.1% 的排列准确率，表明其具备有效的实例级对应学习能力。
• 在 CAPTCHA 测试中，该模型在数字求和任务上达到了 95.2% 的准确率，显著优于 Faster R-CNN（31.05%）和两阶段检测-分类器设置（59.28%）。
• Rezatofighi 等人（2018）的基线集合网络无法收敛，且产生退化输出（所有边界框位于同一位置），证明显式建模排列的必要性。
• 该模型在 CAPTCHA 任务中无需显式编程算术规则即可模仿算术推理，表明其具备涌现的组合泛化能力。
• 该框架实现了集合预测的端到端训练，无需非极大值抑制等启发式步骤，适用于多目标跟踪等复杂任务。