[论文解读] Learnt quasi-transitive similarity for retrieval from large collections of faces

Ognjen Arandjelović|arXiv (Cornell University)|Mar 2, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用 4

一句话总结

该论文提出了一种元算法，通过从代理集学习准传递相似性，在大规模、未标注、无约束的数据集中显著提升对难以检索身份的面部分组检索性能，且无需人工标注。该方法利用个体间外观相似性的统计传递性，基于子空间基线在YouTube数据集上实现了72.8%的检索准确率。

ABSTRACT

We are interested in identity-based retrieval of face sets from large unlabelled collections acquired in uncontrolled environments. Given a baseline algorithm for measuring the similarity of two face sets, the meta-algorithm introduced in this paper seeks to leverage the structure of the data corpus to make the best use of the available baseline. In particular, we show how partial transitivity of inter-personal similarity can be exploited to improve the retrieval of particularly challenging sets which poorly match the query under the baseline measure. We: (i) describe the use of proxy sets as a means of computing the similarity between two sets, (ii) introduce transitivity meta-features based on the similarity of salient modes of appearance variation between sets, (iii) show how quasi-transitivity can be learnt from such features without any labelling or manual intervention, and (iv) demonstrate the effectiveness of the proposed methodology through experiments on the notoriously challenging YouTube database and two successful baselines from the literature.

研究动机与目标

• 在基线相似性度量对困难样本失效的大规模、未标注、无约束数据集中，提升基于身份的面部分组检索性能。
• 利用个体间外观相似性的部分传递性，提升检索性能，且无需人工标注或显式建模姿态/光照因素。
• 开发一种自监督元算法，从数据语料的全局结构中学习，以优化基线相似性度量。
• 在具有挑战性的YouTube人脸数据库上展示有效性，该数据集中基线方法在低质量或稀有身份上表现困难。

提出的方法

• 该方法使用代理集——来自图库的代表性人脸集合——基于查询集与图库集之间显著的外观变化模式，计算传递性元特征。
• 其形式化了一种建模准传递性的相似性度量：若集合A与集合B相似，且集合B与集合C相似，则A与C更可能相似，即使二者无法直接比较。
• 元特征通过自监督框架直接从数据中学习，无需真实标签或高层语义建模。
• 该方法作为后处理元算法应用于任何基线相似性度量之上，提升其在困难查询上的性能。
• 性能通过ANR（平均归一化召回率）和top-100检索准确率进行评估，代理集数量（$k_p$）经调优以获得最佳结果。
• 该方法具有鲁棒性：超过98%的检索结果ANR < 0.5，显著优于基线方法，尤其在高$k_p$场景下表现更优。

实验结果

研究问题

• RQ1 是否可以利用大规模人脸集合中的个体间相似性模式，提升难以匹配的面部分组检索性能？
• RQ2 在无监督条件下，能否从数据中学习到外观相似性的统计（准）传递性？
• RQ3 代理集的使用在基线相似性度量失效的挑战性查询中，如何提升检索性能？
• RQ4 所提出的元算法是否能在不同基线相似性度量（如原型法和子空间法）上实现泛化？

主要发现

• 所提方法在YouTube数据库上实现了72.8%的检索准确率，显著优于基线方法在困难查询上的表现。
• 使用该方法的检索中，超过98%的ANR低于0.5，而原型法和子空间基线的第98百分位ANR值分别为0.92和0.88。
• 随着正确匹配数的增加，top-100检索召回率的增长速度超过独立性假设的预测值，表明通过准传递性有效传播了相似性信息。
• 当对子空间基线使用单个代理集（$k_p = 1$）时，性能增益最为显著，表明该方法能有效捕捉低秩表示中的内在结构。
• 该方法提升了top 100组中正确匹配数的平均值，结果始终超过基于独立匹配假设的预测值。