[论文解读] Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval

Ayan Kumar Bhunia, Subhadeep Koley+5 more|arXiv (Cornell University)|Mar 28, 2022

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出了一种基于强化学习的笔画子集选择器，通过识别并移除草图中的噪声和无关笔画，以提升细粒度草图图像检索（FG-SBIR）的性能。在将草图输入预训练的FG-SBIR模型之前，仅选择最具检索相关性的笔画，该方法在基线模型上实现了8%-10%的性能提升，并达到新的最先进水平，同时支持高效的实时检索和对噪声的鲁棒性。

ABSTRACT

Sketching enables many exciting applications, notably, image retrieval. The fear-to-sketch problem (i.e., "I can't sketch") has however proven to be fatal for its widespread adoption. This paper tackles this "fear" head on, and for the first time, proposes an auxiliary module for existing retrieval models that predominantly lets the users sketch without having to worry. We first conducted a pilot study that revealed the secret lies in the existence of noisy strokes, but not so much of the "I can't sketch". We consequently design a stroke subset selector that {detects noisy strokes, leaving only those} which make a positive contribution towards successful retrieval. Our Reinforcement Learning based formulation quantifies the importance of each stroke present in a given subset, based on the extent to which that stroke contributes to retrieval. When combined with pre-trained retrieval models as a pre-processing module, we achieve a significant gain of 8%-10% over standard baselines and in turn report new state-of-the-art performance. Last but not least, we demonstrate the selector once trained, can also be used in a plug-and-play manner to empower various sketch applications in ways that were not previously possible.

研究动机与目标

• 解决草图图像检索中的“惧怕绘图”问题，即用户因自我感觉绘图能力差而犹豫不决。
• 指出真正的问题并非草图质量本身，而是噪声和无关笔画的存在导致检索性能下降。
• 开发一种预处理模块，从草图中仅选择最具信息量的笔画，以提升检索准确率。
• 实现无需微调即可在各类草图应用中即插即用的部署。
• 通过将选择器与预训练检索模型结合，在FG-SBIR任务中实现最先进性能。

提出的方法

• 设计一种具有LSTM单元的分层循环神经网络（RNN），以建模笔画的组合结构及其相互关系。
• 将笔画子集选择问题形式化为强化学习（RL）问题，其中智能体学习根据每条笔画对检索性能的贡献来选择或拒绝该笔画。
• 使用预训练的FG-SBIR模型作为奖励函数评估器，提供关于所选笔画子集检索真实图像效果的密集反馈。
• 采用带有截断代理目标的演员-critic近端策略优化（PPO）框架，以稳定训练过程并提高样本效率。
• 整合多目标奖励函数，结合排序性能（top-k准确率）和特征嵌入损失（三元组损失），以引导选择器实现准确排序和判别性表征。
• 在将笔画子集输入预训练的FG-SBIR模型前进行栅格化处理，其中不可微的栅格化过程通过强化学习策略梯度方法处理。

Figure 1 : (a) While the average ranking percentile increases as the sketching proceeds from starting towards completion, unwanted sudden drops have been noticed for many individual sketches due to noisy/irrelevant strokes drawn. (b) The same thing is visualised with number of samples in the third a

实验结果

研究问题

• RQ1 一个仅从噪声草图中选择最具相关性的笔画的预处理模块，能否显著提升FG-SBIR性能？
• RQ2 通过移除噪声笔画而非提升绘图技巧，是否真正解决了草图图像检索中性能不佳的根本原因？
• RQ3 基于强化学习的笔画子集选择器能否在实时草图检索中超越标准的数据增强和微调策略？
• RQ4 所提出的选择器在处理合成噪声和真实世界草图噪声方面，其泛化能力如何？
• RQ5 与平坦序列建模相比，笔画的分层建模在检索性能和鲁棒性方面表现如何？

主要发现

• 所提出的笔画子集选择器在QMUL-Shoe-V2数据集上相较标准基线模型，将top-1准确率提升了8%-10%，达到新的最先进性能水平。
• 在合成噪声测试中，该方法将top-1准确率从无选择器时的13.4%提升至37.2%（启用选择器后），展现出强大的抗噪能力。
• 在实时检索中，该RL-based选择器通过过滤掉无信息量的局部草图，使栅格化和推理步骤减少了42.2%。
• 该方法在实时检索中实现了具有竞争力的性能：r@A = 85.78 和 r@B = 21.1，优于先前的RL微调基线模型（85.38, 21.24）在ShoeV2数据集上的表现。
• 使用分层LSTM的模型在top-1准确率上比单层双向LSTM高出4.9%，证实了建模笔画组合结构的重要性。
• 采用带有截断代理目标的PPO演员-critic方法性能最佳，相比仅使用演员的变体，top-1准确率提升了1.7%，并成功建模了部分草图的检索能力。

Figure 2 : Illustration of Noise Tolerant FG-SBIR framework. Stroke Subset Selector $\mathcal{X(\cdot)}$ acts as a pre-processing module in the sketch vector space to eliminate the noisy strokes. Selected stroke subset is then rasterized and fed through an existing pre-trained FG-SBIR model for rewa