[论文解读] Goal-Oriented Gaze Estimation for Zero-Shot Learning

Yang Liu, Lei Zhou+5 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 77被引用 8

一句话总结

本文提出了一种面向零样本学习的面向目标的视线估计方法（GEM-ZSL），通过属性引导的注意力机制与人类视线数据，定位具有判别性的物体局部区域，从而提升零样本识别性能。该方法通过视线感知注意力模块，联合优化全局图像特征与局部属性表征，在CUB、SUN和AWA2基准上实现了最先进或具有竞争力的性能。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize novel classes by transferring semantic knowledge from seen classes to unseen classes. Since semantic knowledge is built on attributes shared between different classes, which are highly local, strong prior for localization of object attribute is beneficial for visual-semantic embedding. Interestingly, when recognizing unseen images, human would also automatically gaze at regions with certain semantic clue. Therefore, we introduce a novel goal-oriented gaze estimation module (GEM) to improve the discriminative attribute localization based on the class-level attributes for ZSL. We aim to predict the actual human gaze location to get the visual attention regions for recognizing a novel object guided by attribute description. Specifically, the task-dependent attention is learned with the goal-oriented GEM, and the global image features are simultaneously optimized with the regression of local attribute features. Experiments on three ZSL benchmarks, i.e., CUB, SUN and AWA2, show the superiority or competitiveness of our proposed method against the state-of-the-art ZSL methods. The ablation analysis on real gaze data CUB-VWSW also validates the benefits and accuracy of our gaze estimation module. This work implies the promising benefits of collecting human gaze dataset and automatic gaze estimation algorithms on high-level computer vision tasks. The code is available at https://github.com/osierboy/GEM-ZSL.

研究动机与目标

• 通过在未见类别识别过程中利用类人注意力机制，提升零样本学习（ZSL）性能。
• 解决全局特征在捕捉已见与未见类别之间细粒度判别性属性方面的局限性。
• 探索人类视线数据作为零样本学习中语义属性定位强先验的作用。
• 开发一种可微分、端到端可训练的框架，将视线估计与视觉-语义嵌入相结合，以提升泛化能力。
• 验证视线监督在提升零样本设置中属性定位与识别准确率方面的有效性。

提出的方法

• 提出一种面向目标的视线估计模块（GEM），利用属性的投影词向量作为查询，引导图像中判别性区域的注意力定位。
• 采用基于双线性池化的注意力模块（AM），生成基于语义属性的区域特定特征。
• 引入注意力转换（AT）模块，通过设计的视线损失利用真实人类视线数据校准预测的注意力图，提升定位精度。
• 在属性定位（AL）模块中，使用真实属性作为监督，通过均方误差（MSE）损失将预测特征与已知属性区域对齐。
• 在余弦度量空间中，联合优化主干编码器提取的全局图像特征与局部属性特征，以减少类内方差并提升零样本泛化能力。
• 采用基于元学习的episode策略，使用M-way N-shot支持集进行训练，以增强对未见类别的泛化能力。

实验结果

研究问题

• RQ1 人类视线数据能否作为零样本学习中判别性属性定位的有效先验？
• RQ2 面向目标的视线估计是否能提升视觉特征在未见类别识别中的判别能力？
• RQ3 将视线监督与属性引导的注意力机制结合，对标准ZSL基准性能有何影响？
• RQ4 所提出的GEM-ZSL方法在CUB、SUN和AWA2等多样化数据集上的泛化能力如何？
• RQ5 模型性能在不同超参数（如余弦度量空间中的温度参数σ）下如何变化？

主要发现

• 在GZSL设置下，GEM-ZSL在CUB和AWA2基准上均达到最先进性能，当M=16且N=2时，top-1准确率分别达到70.4%和70.6%。
• 在SUN数据集上，模型在GZSL设置下的准确率为36.9%（M=16，N=2），较随机采样训练高出1.8个百分点。
• 视线估计模块在CUB-VWSW数据集上达到AUC 0.914与NSS 2.244，显著优于基线方法GBVS（AUC: 0.793，NSS: 1.003）与GP（AUC: 0.836，NSS: 1.430）。
• 消融实验表明，通过AT模块整合真实视线数据可提升属性定位准确率，并显著增强整体识别性能。
• 在CUB和AWA2上，σ=20时模型表现最佳；在SUN上，σ=25时表现最佳，且训练过程中漂移极小，表明超参数敏感性稳定。
• 基于episode的训练策略始终优于随机采样训练，最高准确率出现在M=16且N=2时，表明通过少样本元学习可实现更好的泛化能力。