[论文解读] Improving Object-centric Learning with Query Optimization

Baoxiong Jia, Yu Liu+1 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了一种新型方法——双层优化查询槽注意力（BO-QSA），通过将槽初始化学习为查询而非随机初始化，从而在无监督对象中心学习中实现更稳定且语义更清晰的对象表征。该方法结合直通梯度估计与双层优化，显著优于先前的槽注意力（Slot-Attention）变体，在10个多样化数据集（包括合成数据与真实世界数据）的分割和重建任务中实现了最先进性能。

ABSTRACT

The ability to decompose complex natural scenes into meaningful object-centric abstractions lies at the core of human perception and reasoning. In the recent culmination of unsupervised object-centric learning, the Slot-Attention module has played an important role with its simple yet effective design and fostered many powerful variants. These methods, however, have been exceedingly difficult to train without supervision and are ambiguous in the notion of object, especially for complex natural scenes. In this paper, we propose to address these issues by investigating the potential of learnable queries as initializations for Slot-Attention learning, uniting it with efforts from existing attempts on improving Slot-Attention learning with bi-level optimization. With simple code adjustments on Slot-Attention, our model, Bi-level Optimized Query Slot Attention, achieves state-of-the-art results on 3 challenging synthetic and 7 complex real-world datasets in unsupervised image segmentation and reconstruction, outperforming previous baselines by a large margin. We provide thorough ablative studies to validate the necessity and effectiveness of our design. Additionally, our model exhibits great potential for concept binding and zero-shot learning. Our work is made publicly available at https://bo-qsa.github.io

研究动机与目标

• 解决Slot-Attention中因随机槽初始化导致的对象中心表征学习不稳定与模糊问题。
• 减少无监督对象中心模型对超参数调优及训练启发式方法（如梯度裁剪、初始学习率热身）的依赖。
• 提升学习槽与实际对象概念之间的绑定能力，从而实现更好的泛化性与零样本迁移潜力。
• 通过整合可学习查询与双层优化及直通梯度估计，提升训练效率与收敛性。
• 实现即插即用的改进型对象中心学习部署，适用于包括3D场景重建与图像分割在内的多样化视觉任务。

提出的方法

• 用通过双层优化进行优化的可学习查询向量，替代Slot-Attention中的随机槽初始化。
• 引入直通梯度估计器（STE），以实现通过离散槽分配过程的端到端反向传播。
• 将优化问题形式化为双层问题：内层循环通过注意力机制优化槽特征，外层循环更新可学习查询初始化。
• 保持原始Slot-Attention架构不变，仅修改初始化与优化流程，确保向后兼容性。
• 采用一阶近似以降低外层优化的计算成本，实现高效训练。
• 将该方法作为插件应用于现有模型（如uORF），在不改变网络结构的前提下提升性能。

实验结果

研究问题

• RQ1 可学习查询初始化是否能稳定训练并提升无监督对象中心学习的性能？
• RQ2 用优化后的查询替代随机初始化，是否能在复杂场景中实现更好的对象概念绑定？
• RQ3 所提方法在多大程度上减少了Slot-Attention对超参数调优的依赖？
• RQ4 该模型是否具备零样本场景下的泛化能力，并能在无微调情况下迁移到新数据集？
• RQ5 该方法在包括合成与真实世界图像数据集在内的多样化基准上的表现如何？

主要发现

• BO-QSA在3个合成数据集与7个真实世界数据集上均达到最先进性能，在重建与分割任务中均优于先前最先进方法。
• 在CLEVR-567数据集上，uORF+BO-QSA在600个训练周期下达到74.5 NV-ARI，超过原始uORF模型在1200个周期下的84.4 NV-ARI。
• 在复杂的Room-Diverse基准中，uORF+BO-QSA在240个周期下达到63.0 NV-ARI，而原始uORF在相同周期下为56.6 NV-ARI。
• 模型在零样本迁移学习中表现出更强的泛化能力，表明其具备优异的概念绑定潜力。
• 消融实验确认可学习查询对性能提升至关重要，而随机初始化则导致性能下降。
• 该方法降低了训练不稳定性与对超参数调优的依赖，其在多样化数据集上均表现出一致的收敛性。