[论文解读] Learning Effective Visual Relationship Detector on 1 GPU

Yichao Lu, Cheng Chang+3 more|arXiv (Cornell University)|Dec 12, 2019

Advanced Neural Network Applications参考文献 13被引用 4

一句话总结

本文提出了一种新颖的部分权重迁移方法，可在单张GPU上于两天内完成完整视觉关系检测流程的训练，且在Open Images 2019视觉关系挑战赛中达到最先进性能。通过使用类别匹配的预训练权重微调目标检测器，并利用可学习融合模型结合空间-语义特征与视觉特征，该方法在私有排行榜上以超过5%的差距领先第二名团队，获得第一名。

ABSTRACT

We present our winning solution to the Open Images 2019 Visual Relationship challenge. This is the largest challenge of its kind to date with nearly 9 million training images. Challenge task consists of detecting objects and identifying relationships between them in complex scenes. Our solution has three stages, first object detection model is fine-tuned for the challenge classes using a novel weight transfer approach. Then, spatio-semantic and visual relationship models are trained on candidate object pairs. Finally, features and model predictions are combined to generate the final relationship prediction. Throughout the challenge we focused on minimizing the hardware requirements of our architecture. Specifically, our weight transfer approach enables much faster optimization, allowing the entire architecture to be trained on a single GPU in under two days. In addition to efficient optimization, our approach also achieves superior accuracy winning first place out of over 200 teams, and outperforming the second place team by over $5\%$ on the held-out private leaderboard.

研究动机与目标

• 降低大规模视觉关系检测模型训练的硬件需求，使其对资源有限的研究人员更具可及性。
• 提升在Open Images V5等大规模数据集上视觉关系检测的训练效率与收敛速度。
• 在最小化计算成本的同时，于Open Images 2019视觉关系挑战赛中实现最先进性能。
• 开发一个结合目标检测、空间-语义推理与视觉特征建模的鲁棒流水线，以实现准确的关系预测。

提出的方法

• 提出一种部分权重迁移策略，利用COCO和Open Images的预训练权重，对基于Faster R-CNN的检测器中的分类与回归头进行初始化，确保源数据集与目标数据集之间的类别匹配。
• 仅通过极小的参数更新，在挑战数据集上微调目标检测器，与随机初始化相比显著加速收敛。
• 在候选目标对上分别训练两个模型：一个梯度提升模型用于空间-语义特征（空间与基于类别的上下文），一个CNN模型用于视觉特征（目标对周围的图像块）。
• 引入第三阶段模型，通过加权融合学习最优结合空间-语义与视觉模型的预测结果，提升泛化性能，优于简单平均。
• 将'is'关系（对象-属性）单独处理，使用专门训练的模型，采用类别特定的头初始化策略。
• 采用三阶段流水线：(1) 目标检测，(2) 候选对的特征提取，(3) 特征与预测结果的端到端融合，输出最终关系。

实验结果

研究问题

• RQ1 是否可在单张GPU上高效训练视觉关系检测系统，且不损失性能？
• RQ2 部分权重迁移——特别是使用类别匹配的预训练权重初始化检测器头——在新大型视觉关系数据集上的收敛加速效果如何？
• RQ3 可学习融合机制是否能优于在视觉关系检测中对空间-语义与视觉预测进行简单平均？
• RQ4 为何某些属性（如透明、塑料）对视觉关系检测更具挑战性？数据分布如何影响模型性能？
• RQ5 在复杂视觉关系检测中，与端到端模型相比，采用独立建模空间、语义与视觉线索的多阶段流水线在多大程度上表现更优？

主要发现

• 所提出的部分权重迁移方法将单张GPU上的训练时间缩短至两天以内，使资源有限的研究人员也能实现高效训练。
• 该模型在Open Images 2019视觉关系挑战赛中获得第一名，私有排行榜上领先第二名超过5%。
• 第三阶段融合模型在所有五个评估关系上均优于单一模型，尤其在'at'关系上mAP_rel提升5.1个百分点（相对提升11%）。
• 空间-语义模型在'at'与'hits'关系上表现更优，而视觉模型在'plays'与'inside_of'关系上更佳，验证了两种模态的必要性。
• 模型在'transparent'与'plastic'等属性上表现最差，原因在于标签模糊性与训练样本数量过少，尤其在常见家具对象上更为明显。
• 定性分析显示，模型在复杂场景（如多名音乐家）中表现稳健，但因3D到2D投影模糊性与遮挡问题导致失败，提示引入深度信息或多视角输入或可进一步提升性能。