[论文解读] Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning

Huan Fu, Shunming Li+4 more|arXiv (Cornell University)|Oct 23, 2020

Image Retrieval and Classification Techniques被引用 6

一句话总结

本文提出了一种以几何为重点的多视角度量学习框架，通过纹理合成生成困难负样本三元组，减少了纹理变化在跨域3D形状检索中的干扰。通过在3D模型上合成纹理以创建具有挑战性的训练样本，该方法增强了对几何特征的学习，在3D-FUTURE、Pix3D、Stanford Cars和Comp Cars基准测试中实现了最先进性能。

ABSTRACT

Image-based 3D shape retrieval (IBSR) aims to find the corresponding 3D shape of a given 2D image from a large 3D shape database. The common routine is to map 2D images and 3D shapes into an embedding space and define (or learn) a shape similarity measure. While metric learning with some adaptation techniques seems to be a natural solution to shape similarity learning, the performance is often unsatisfactory for fine-grained shape retrieval. In the paper, we identify the source of the poor performance and propose a practical solution to this problem. We find that the shape difference between a negative pair is entangled with the texture gap, making metric learning ineffective in pushing away negative pairs. To tackle this issue, we develop a geometry-focused multi-view metric learning framework empowered by texture synthesis. The synthesis of textures for 3D shape models creates hard triplets, which suppress the adverse effects of rich texture in 2D images, thereby push the network to focus more on discovering geometric characteristics. Our approach shows state-of-the-art performance on a recently released large-scale 3D-FUTURE[1] repository, as well as three widely studied benchmarks, including Pix3D[2], Stanford Cars[3], and Comp Cars[4]. Codes will be made publicly available at: https://github.com/3D-FRONT-FUTURE/IBSR-texture

研究动机与目标

• 为解决由于形状与纹理差异纠缠导致度量学习在细粒度3D形状检索中表现不佳的问题。
• 减少2D图像中纹理变化对嵌入空间学习的负面影响。
• 开发一种通过在3D形状上合成纹理来生成困难三元组的方法，以突出几何特征。
• 通过聚焦网络于几何特征而非外观，提升跨域形状相似性学习性能。

提出的方法

• 训练一个条件生成对抗网络（cGAN），根据来自参考2D图像的纹理编码，为3D模型分配新纹理。
• 通过将与锚点图像匹配的纹理分配给正样本3D形状，将随机且不匹配的纹理分配给负样本3D形状，生成困难三元组。
• 多视角度量学习框架聚合每个3D形状的12张渲染表面法线视图的特征。
• 显著性注意力机制增强2D查询图像中语义显著区域的特征。
• 视角注意力策略引导多视角嵌入聚合，降低对视角变化的敏感性。
• 该框架整合了掩码注意力机制和视角引导损失，以提升鲁棒性并增强对形状特征的关注。

实验结果

研究问题

• RQ1 2D图像中的纹理变化在多大程度上干扰了跨域3D形状检索的度量学习？
• RQ2 基于合成纹理生成是否能有效创建困难负样本，以抑制与纹理相关的干扰？
• RQ3 以几何为重点的度量学习框架在细粒度形状基准测试中能多大程度上提升检索性能？
• RQ4 注意力机制和视角引导在应对视角和背景变化时如何提升模型鲁棒性？
• RQ5 所提方法在包括室内和室外场景在内的多样化基准上是否具备泛化能力？

主要发现

• 所提方法在3D-FUTURE基准上实现了69.1%的Top-1@R，创下新的最先进水平。
• 在Pix3D上，与基线相比，Top-1@R提升了12.8%，展现出强大的泛化能力。
• 仅使用显著性注意力机制，性能相比基线提升了7.7%，凸显其有效性。
• 视角引导机制实现了69.1%的Top-1@R，优于平均池化（66.1%）和最大池化（64.7%）的多视角聚合方法。
• 模型对视角偏差表现出鲁棒性，在训练数据偏向正面视角时仍保持高性能。
• 消融实验表明，纹理合成与注意力机制均对抑制纹理干扰和增强几何特征学习至关重要。