[论文解读] Group Membership Prediction

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Sep 16, 2015

Video Surveillance and Tracking Methods参考文献 20被引用 11

一句话总结

本文提出了一种新颖的概率模型用于群体成员身份预测（GMP），通过联合建模视图特定的视觉外观和视图共享的潜在变量（例如身体部位或面部关键点），以预测多张图像是否共享诸如亲属关系或身份等语义属性。通过将群体成员身份似然分解为数据无关参数与数据相关因子的张量积，并利用判别性双线性分类器学习这些参数，该方法在多摄像头行人重识别和亲属关系验证基准上实现了最先进性能，同时存储和计算成本极低。

ABSTRACT

The group membership prediction (GMP) problem involves predicting whether or not a collection of instances share a certain semantic property. For instance, in kinship verification given a collection of images, the goal is to predict whether or not they share a {\it familial} relationship. In this context we propose a novel probability model and introduce latent {\em view-specific} and {\em view-shared} random variables to jointly account for the view-specific appearance and cross-view similarities among data instances. Our model posits that data from each view is independent conditioned on the shared variables. This postulate leads to a parametric probability model that decomposes group membership likelihood into a tensor product of data-independent parameters and data-dependent factors. We propose learning the data-independent parameters in a discriminative way with bilinear classifiers, and test our prediction algorithm on challenging visual recognition tasks such as multi-camera person re-identification and kinship verification. On most benchmark datasets, our method can significantly outperform the current state-of-the-art.

研究动机与目标

• 解决预测多张图像是否共享语义属性（如跨摄像头的家族关系或身份）的挑战。
• 通过引入捕捉共享结构信息（如身体部位、面部关键点）的潜在变量，建模多视图间的视觉相似性。
• 开发一种参数化概率模型，将群体成员身份似然分解为数据无关与数据相关因子，以提升预测性能。
• 通过判别性双线性分类器学习模型参数，以增强预测准确性。
• 在大规模视觉识别任务中展示计算效率与可扩展性。

提出的方法

• 引入包含视图特定与视图共享潜在变量的联合概率模型，假设在给定共享变量的条件下，外观条件独立。
• 将群体成员身份似然分解为数据无关参数与基于视觉词共现所导出的数据相关因子的张量积。
• 使用双线性分类器以判别性方式学习数据无关参数，支持端到端优化。
• 通过对所有潜在变量维度进行边缘化计算最终的群体成员身份得分。
• 基于视觉词表示每个图像的特征矩阵，实现高效的相似性计算。
• 在真实世界数据集上，将该模型应用于多视图任务，如行人重识别与亲属关系验证。

实验结果

研究问题

• RQ1 统一的概率模型能否在高精度下有效预测多视觉视图中的群体成员身份？
• RQ2 共享潜在变量（如身体部位、面部关键点）如何提升GMP中跨视图相似性的建模？
• RQ3 通过判别性方式训练的双线性分类器能否在GMP任务中超越现有的度量学习或特征工程方法？
• RQ4 所提方法在大规模多视图识别任务中的计算与存储效率如何？
• RQ5 该模型能否泛化至任意群体规模与复杂家庭结构，而不仅限于成对比较？

主要发现

• 在TSKinFace数据集中，所提方法在FM-D组上实现了90.6%的验证率，优于先前最先进方法（86.4%）。
• 在Family 101数据集中，该方法实现了94.5%的平均AUC，超过此前最佳结果92.7%。
• 在多摄像头行人重识别任务中，该方法在VIPeR、WARD与RAiD数据集上均持续优于现有SOTA方法。
• 每样本存储空间低于170 KB，每预测耗时低于2 ms，表明具有高效率。
• 即使在视图数量与群体规模增加的情况下，该方法仍显著提升了验证准确率，同时保持低内存与时间开销。
• 利用双线性分类器进行模型参数的判别性学习，显著提升了群体成员身份预测的鲁棒性与准确性。