[论文解读] Joint Learning of Set Cardinality and State Distribution

S. Hamid Rezatofighi, Anton Milan+3 more|arXiv (Cornell University)|Sep 13, 2017

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出一种联合深度学习框架，通过单一端到端网络同时预测集合基数和状态分布，利用狄利克雷-多项式分布损失实现合理且排列不变的集合预测。该方法在多标签图像分类任务上达到最先进性能，显著降低基数估计误差，并在PASCAL VOC和MS COCO数据集上优于先前方法。

ABSTRACT

We present a novel approach for learning to predict sets using deep learning. In recent years, deep neural networks have shown remarkable results in computer vision, natural language processing and other related problems. Despite their success, traditional architectures suffer from a serious limitation in that they are built to deal with structured input and output data, i.e. vectors or matrices. Many real-world problems, however, are naturally described as sets, rather than vectors. Existing techniques that allow for sequential data, such as recurrent neural networks, typically heavily depend on the input and output order and do not guarantee a valid solution. Here, we derive in a principled way, a mathematical formulation for set prediction where the output is permutation invariant. In particular, our approach jointly learns both the cardinality and the state distribution of the target set. We demonstrate the validity of our method on the task of multi-label image classification and achieve a new state of the art on the PASCAL VOC and MS COCO datasets.

研究动机与目标

• 解决现有深度学习模型假设输出为固定大小且有序的局限性，此类假设不适用于自然建模为集合的问题。
• 开发统一框架，联合学习集合中元素的数量（基数）与元素的分布（状态），避免使用独立的、分离的网络。
• 基于有限集统计与点过程的合理概率公式，通过最大后验估计（MAP）实现最优联合推理。
• 通过共享基数与状态预测组件之间的参数，降低模型复杂度并提升泛化能力。
• 在真实世界集合预测任务中验证该方法的有效性，特别是多标签图像分类任务。

提出的方法

• 该模型使用深度神经网络，通过一组共享权重，联合预测目标集合的基数与状态分布。
• 将输出集合预测建模为有限集统计问题，利用狄利克雷-多项式先验联合建模基数与状态的分布。
• 提出一种新型狄利克雷-多项式（DC）损失，联合优化基数与状态预测，替代独立损失函数。
• 推理阶段在完整集合空间上执行最大后验估计（MAP），确保以单一最优步骤生成最可能的集合。
• 该框架可端到端训练，且由于输出本质上无序，天然具备排列不变性。
• 采用PASCAL VOC和MS COCO等标准基准进行评估，并与基于RNN、Softmax及二元交叉熵的基线方法进行比较。

实验结果

研究问题

• RQ1 深度学习模型能否在不使用独立网络或顺序推理的情况下，联合且端到端地学习集合的基数与状态分布？
• RQ2 与独立学习相比，联合学习基数与状态分布在预测准确性和误差降低方面有何改进？
• RQ3 所提出的狄利克雷-多项式损失在集合预测任务中，相较于标准损失（如二元交叉熵或负二项分布损失）的优越程度如何？
• RQ4 在完整集合空间上进行联合MAP推理是否优于启发式top-k选择或序列生成方法？
• RQ5 该框架能否泛化至真实世界的集合预测问题（如多标签图像分类），并实现最先进性能？

主要发现

• 所提出的联合深度集合网络（JDS）结合BCE-DC损失，在PASCAL VOC数据集上实现平均绝对基数误差为0.31±0.54，略优于独立学习基数时的0.33±0.53误差。
• 在PASCAL VOC数据集上，JDS（BCE-DC）模型在所有F1得分指标上均优于所有基线方法，包括先前的最先进深度集合网络。
• 在MS COCO数据集上，JDS（BCE-DC）模型实现75.6的实例F1得分，超过次佳方法（74.6），创下新SOTA记录。
• 图3的定性结果表明，与基线模型相比，JDS方法显著减少了误报和基数错误。
• 联合建模使单次训练即可生成最终模型，而以往方法需分别训练两个VGG网络用于基数与状态预测。
• 该方法在分类与基数估计方面均表现出一致改进，证实了联合优化与共享参数学习的优势。