[论文解读] "Mental Rotation" by Optimizing Transforming Distance

Wei‐Guang Ding, Graham W. Taylor|arXiv (Cornell University)|Jun 11, 2014

Image Retrieval and Classification Techniques参考文献 31被引用 10

一句话总结

本文提出了一种新颖的相似性度量方法——变换距离（Transforming Distance, TD），该方法在神经网络中实现类似心理旋转的变换优化，以提升最近邻分类性能。通过学习图像变换的关联模型，并在测试时优化查询图像与数据库图像之间的对齐，TD 在稀疏数据库下仍表现出鲁棒性能，在 TFD 和 NORB 数据集上优于标准 KNN，尤其在高数据稀疏性条件下表现更优。

ABSTRACT

The human visual system is able to recognize objects despite transformations that can drastically alter their appearance. To this end, much effort has been devoted to the invariance properties of recognition systems. Invariance can be engineered (e.g. convolutional nets), or learned from data explicitly (e.g. temporal coherence) or implicitly (e.g. by data augmentation). One idea that has not, to date, been explored is the integration of latent variables which permit a search over a learned space of transformations. Motivated by evidence that people mentally simulate transformations in space while comparing examples, so-called "mental rotation", we propose a transforming distance. Here, a trained relational model actively transforms pairs of examples so that they are maximally similar in some feature space yet respect the learned transformational constraints. We apply our method to nearest-neighbour problems on the Toronto Face Database and NORB.

研究动机与目标

• 解决标准 KNN 在处理因空间变换导致的大范围类内差异时的局限性。
• 通过学习图像对之间的潜在变换，建模动态相似性，受人类心理旋转的启发。
• 通过将图像表示优化至在学习到的变换约束下实现最大相似性，提升最近邻分类性能。
• 评估方法在高数据缺失率下的鲁棒性，以模拟弱标签或不完整数据集的情况。
• 证明关系模型可通过变换搜索实现有效的测试时相似性优化。

提出的方法

• 训练一个关系模型，具体为因子化高斯受限玻尔兹曼机（factored Gaussian Restricted Boltzmann Machine, fgRBM），在图像对上学习有效变换的空间。
• 该方法在测试时提出一种优化策略，将查询图像的表示变换为与目标图像表示一致，同时尊重学习到的变换流形。
• 优化过程最小化变换后查询表示与目标表示之间的特征距离，从而有效模拟心理旋转。
• 评估了两种变体：SmallTrans（仅限小范围离散旋转）和 AnyTrans（任意变换），二者在学习到的变换空间复杂度上有所不同。
• 该方法被整合进 KNN 框架中，称为 Transforming KNN，其中每个数据库样本均扩展为一个变换表示的流形。
• 在多伦多人脸数据库（Toronto Face Database, TFDs）和 NORB 上进行评估，使用特征距离和像素距离，并对数据库大小和缺失数据率进行消融分析。

实验结果

研究问题

• RQ1 通过在深度特征空间中模拟心理旋转，学习到的变换空间是否能提升最近邻分类性能？
• RQ2 在 K 值增加和数据稀疏性增强的条件下，Transforming KNN 与标准 KNN 的性能表现如何比较？
• RQ3 当大量训练数据缺失时，该方法是否仍能保持鲁棒性？
• RQ4 该关系模型能否泛化到复杂变换？模型容量（如 fgRBM 维度）对性能有何影响？
• RQ5 在该框架中，能否有效利用弱监督来源（如视频）的关系标签？

主要发现

• 在 TFDs1 和 TFDs2 上，Transforming KNN 的准确率高于标准 KNN，尤其在 K 值增大时，得益于能够利用更多样化的变换样本。
• 在 NORB 上，标准 KNN 的准确率随 K 值增加而下降，这是由于方向相关匹配导致；而 Transforming KNN 保持或提升性能，表明对方向变化具有鲁棒性。
• 在 TFD 中 70% 数据缺失的情况下，Transforming KNN 的准确率仍与使用完整数据库的标准 KNN 相当，表现出对数据稀疏性的强韧性。
• 在 NORB 上，当 99.9% 的数据缺失时，AnyTrans KNN 仍保持 60% 的准确率，表明在极端数据稀缺条件下具有极高鲁棒性。
• 在低数据缺失率下，SmallTrans KNN 表现优于 AnyTrans KNN，但随着数据进一步稀疏化，其性能下降更快，表明在数据稀疏时，更简单的变换模型可能效果更差。
• fgRBM 在 AnyTrans 上需要更高的维度（256），而 SmallTrans 仅需 128，表明更复杂的变换需要更大的模型容量。