[论文解读] Learning to Learn Relation for Important People Detection in Still Images

Weihong Li, Fa-Ting Hong+1 more|arXiv (Cornell University)|Apr 7, 2019

Multimodal Machine Learning Applications参考文献 21被引用 6

一句话总结

本文提出 POINT，一种深度学习框架，通过联合建模人与人之间以及人与事件之间的相互作用，以检测静态图像中的重要人物。通过堆叠的交互模块学习关系特征，并与身份特征聚合，POINT 实现了最先进性能，在两个基准数据集上的 mAP 分数分别达到 92.0% 和 72.6%，优于先前的方法如 PersonRank 和 VIP。

ABSTRACT

Humans can easily recognize the importance of people in social event images, and they always focus on the most important individuals. However, learning to learn the relation between people in an image, and inferring the most important person based on this relation, remains undeveloped. In this work, we propose a deep imPOrtance relatIon NeTwork (POINT) that combines both relation modeling and feature learning. In particular, we infer two types of interaction modules: the person-person interaction module that learns the interaction between people and the event-person interaction module that learns to describe how a person is involved in the event occurring in an image. We then estimate the importance relations among people from both interactions and encode the relation feature from the importance relations. In this way, POINT automatically learns several types of relation features in parallel, and we aggregate these relation features and the person's feature to form the importance feature for important people classification. Extensive experimental results show that our method is effective for important people detection and verify the efficacy of learning to learn relations for important people detection.

研究动机与目标

• 为解决在静态图像中检测重要人物的挑战，其中重要性不仅取决于个体特征，还取决于复杂的社会关系和上下文关系。
• 开发一种方法，自动学习人物与事件之间可靠且有效的关系特征，避免依赖手工设计的特征。
• 将关系建模与特征学习整合到统一的深度神经网络中，以提升重要性分类性能。
• 在准确率和推理速度方面超越现有方法（如 PersonRank 和 VIP），实现重要人物检测的性能提升。

提出的方法

• POINT 采用双交互模块：人与人之间的交互用于建模个体之间的成对关系，事件与人之间的交互用于估计每个人在整体事件中的参与程度。
• 模型使用加性注意力机制计算交互权重，消融实验表明加性函数在性能上优于缩放点积注意力。
• 通过两种不同方法从交互图中估计重要性关系：一种使用全局事件上下文作为先验，另一种将事件图作为额外输入。
• 将多个子模块的关系特征拼接，并通过残差连接与身份特征融合，形成最终的重要性表征。
• 网络通过交叉熵损失进行端到端训练，超参数经过调优以实现最优的关系建模与特征聚合。
• 该架构支持可变数量的关系子模块（r）和堆叠的关系模块（Nr），从而实现对多样化关系模式的灵活建模。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖手工特征的前提下，自动学习社交事件图像中人物之间的有意义关系特征？
• RQ2 同时建模人与人之间以及人与事件之间的相互作用，如何提升对重要个体的检测效果？
• RQ3 将全局事件层面的上下文信息整合到关系学习过程中，对重要性预测有何影响？
• RQ4 不同注意力机制对本任务中关系建模性能的影响如何？
• RQ5 所提出的框架能否在保持或提升准确率的同时，实现比现有方法更快的推理速度？

主要发现

• POINT 在 MS 数据集上达到 92.0% 的平均平均精度（mAP），在 NCAA 数据集上达到 72.6%，创下新的最先进性能记录。
• 模型处理图像的速度为每秒 10 帧，显著快于 PersonRank（0.2 fps）和 VIP（0.06 fps）。
• 在 NCAA 数据集上，使用加性注意力而非缩放点积注意力，性能提升 1.1%（97.3% vs 96.2%）。
• 将全局事件信息作为先验整合，使性能在 NCAA 数据集上提升 1.3%，优于将事件图作为额外输入的方法（提升 0.7%）。
• 使用多个关系子模块（r > 1）和堆叠的关系模块（Nr > 1）可提升性能，最优设置在 MS 数据集上为 r=4 和 Nr=2，在 NCAA 数据集上为 Nr=4。
• 可视化对比显示，POINT 在复杂场景中能正确识别最重要人物（如射手），而 PersonRank 常常失败。