[论文解读] Not just a matter of semantics: the relationship between visual similarity and semantic similarity

Clemens-Alexander Brust, Joachim Denzler|arXiv (Cornell University)|Nov 17, 2018

Domain Adaptation and Few-Shot Learning参考文献 36被引用 6

一句话总结

本文通过五种不同的度量方法分别评估视觉相似性和语义相似性，探究二者之间的关系，发现基于 WordNet 的语义相似性在预测视觉相似性方面具有超越‘不同类别外观不同’这一基本假设的有意义预测能力。主要发现是，语义相似性与模型混淆程度的相关性高于视觉相似性，表明在非分类任务中语义方法可能更有效；然而，错误的语义知识可能比完全没有知识更糟糕。

ABSTRACT

Knowledge transfer, zero-shot learning and semantic image retrieval are methods that aim at improving accuracy by utilizing semantic information, e.g. from WordNet. It is assumed that this information can augment or replace missing visual data in the form of labeled training images because semantic similarity correlates with visual similarity. This assumption may seem trivial, but is crucial for the application of such semantic methods. Any violation can cause mispredictions. Thus, it is important to examine the visual-semantic relationship for a certain target problem. In this paper, we use five different semantic and visual similarity measures each to thoroughly analyze the relationship without relying too much on any single definition. We postulate and verify three highly consequential hypotheses on the relationship. Our results show that it indeed exists and that WordNet semantic similarity carries more information about visual similarity than just the knowledge of "different classes look different". They suggest that classification is not the ideal application for semantic methods and that wrong semantic information is much worse than none.

研究动机与目标

• 严格评估图像分类中视觉相似性与语义相似性之间的关系，挑战‘语义知识可可靠预测视觉相似性’这一假设。
• 检验基于 WordNet 的语义相似性是否在‘不同类别外观不同’这一基线预期之外，提供有意义的预测能力。
• 探究在语义方法旨在减少混淆的目标下，语义相似性是否与模型混淆的相关性高于视觉相似性。
• 识别语义相似性与视觉相似性不一致的失败案例，特别是在野生动物监测等现实应用场景中。
• 在图像标签具有语义简化性质的前提下，探索语义方法在非分类任务中的潜力。

提出的方法

• 本研究采用五种不同的语义相似性度量方法（如 Jiang-Conrath、Leacock-Chodorow）和五种视觉相似性度量方法（如 GIST、深度特征），在多个数据集上评估二者之间的关系。
• 使用斯皮尔曼等级相关系数（Spearman's rho）定量衡量不同度量对之间语义相似性与视觉相似性的一致性。
• 将语义相似性与模型混淆的相关性与‘不同类别外观不同’的基线假设进行比较。
• 对失败案例（如鹿与森林、兰花与向日葵）进行定性分析，这些案例中语义相似性与视觉相似性出现分歧。
• 通过分析训练分类器的混淆矩阵，评估视觉相似性、语义相似性与混淆模式之间的关联。
• 通过随机打乱类别标签的消融实验，测试错误语义信息是否比无信息更损害模型性能。

实验结果

研究问题

• RQ1 基于 WordNet 的语义相似性是否比‘不同类别外观不同’这一基本假设，提供更多的关于视觉相似性的预测信息？
• RQ2 视觉相似性与模型混淆的相关性在多大程度上成立？该相关性是否强于基线预期？
• RQ3 语义相似性与模型混淆之间的关联是否强于视觉相似性与混淆之间的关联？
• RQ4 语义方法能否在零样本学习或知识迁移中可靠提升性能，还是在语义-视觉不一致的情况下容易失效？
• RQ5 整体图像描述如何影响语义相似性与视觉相似性之间的对齐？这对复杂视觉任务有何启示？

主要发现

• 语义相似性与视觉相似性之间的相关性具有统计显著性（Spearman’s rho = 0.23），高于基线相关性（0.17），表明语义相似性提供的信息量超过单纯的类别差异性。
• 语义相似性与模型混淆的相关性更强（rho = 0.39），高于视觉相似性（rho = 0.21）和基线（rho = 0.21），表明语义知识更能有效预测混淆模式。
• 随机打乱的类别标签与视觉相似性无相关性（rho ≈ 0），但仍与混淆相关（rho = 0.21），表明即使错误的语义知识也可能比无知识更误导模型。
• 失败案例（如鹿与森林在视觉上相似但语义上相距甚远）表明，图像分类任务容易受到语义-视觉错位的影响，尤其当图像被简化为单一概念时更为明显。
• 研究发现，语义相似性度量在人类感知中比视觉相似性度量更具一致性，表明尽管感知复杂，语义定义之间仍存在更高的一致性。
• 结果表明，语义方法可能更适合非分类任务，如图像字幕生成或视觉推理，因为在这些任务中整体语义比二元类别区分更为关键。