[论文解读] Less is more: zero-shot learning from online textual documents with noise suppression

Ruizhi Qiao, Lingqiao Liu+2 more|arXiv (Cornell University)|Apr 5, 2016

Domain Adaptation and Few-Shot Learning参考文献 19被引用 9

一句话总结

本文提出了一种基于 $l_{2,1}$-范数的零样本学习方法，通过抑制在线文本文档（如维基百科条目）中的噪声，同时学习文本与视觉特征之间的鲁棒映射。通过联合抑制无关词汇并学习跨模态嵌入，该方法在大规模基准测试中实现了最先进性能，表明噪声抑制对于有效的基于文本的零样本学习至关重要。

ABSTRACT

Classifying a visual concept merely from its associated online textual source, such as a Wikipedia article, is an attractive research topic in zero-shot learning because it alleviates the burden of manually collecting semantic attributes. Several recent works have pursued this approach by exploring various ways of connecting the visual and text domains. This paper revisits this idea by stepping further to consider one important factor: the textual representation is usually too noisy for the zero-shot learning application. This consideration motivates us to design a simple-but-effective zero-shot learning method capable of suppressing noise in the text. More specifically, we propose an $l_{2,1}$-norm based objective function which can simultaneously suppress the noisy signal in the text and learn a function to match the text document and visual features. We also develop an optimization algorithm to efficiently solve the resulting problem. By conducting experiments on two large datasets, we demonstrate that the proposed method significantly outperforms the competing methods which rely on online information sources but without explicit noise suppression. We further make an in-depth analysis of the proposed method and provide insight as to what kind of information in documents is useful for zero-shot learning.

研究动机与目标

• 为解决在使用在线文档进行零样本学习时被忽视但至关重要的文本噪声问题。
• 开发一种方法，同时抑制无关词汇并学习文本与视觉特征之间的跨模态函数。
• 通过利用带有噪声的在线文本源且无需人工属性标注，提升零样本学习性能。
• 分析文档表征中哪些类型的词汇对零样本分类最具信息量。

提出的方法

• 采用基于 $l_{2,1}$-范数的目标函数，构建联合优化问题，以抑制文本表征中的噪声维度。
• 集成一个共享函数，将文本和视觉特征映射到共同的嵌入空间。
• 设计一种高效的优化算法，以求解非凸、非光滑的基于 $l_{2,1}$-范数的目标函数。
• 将该方法应用于基于维基百科词袋表示的大规模零样本学习基准测试。
• 通过各类别上的平均重要性权重，识别并分析去噪表征中的关键区分性词汇。
• 采用多分类分类框架，通过学习到的文本-视觉对齐方式预测未见类别标签。

实验结果

研究问题

• RQ1 在使用自动文本源时，在线文档中的文本噪声如何影响零样本学习性能？
• RQ2 基于 $l_{2,1}$-范数的目标函数能否有效抑制无关词汇，同时保留文本表征中的区分性信号？
• RQ3 文档表征中的哪些词汇对零样本分类具有实质性贡献？它们与噪声或无信息词汇有何不同？
• RQ4 与依赖在线文本但缺乏显式噪声抑制的现有零样本学习方法相比，所提出方法表现如何？

主要发现

• 所提出方法显著优于所有使用在线文本源但缺乏噪声抑制的对比方法，证明了噪声控制的关键作用。
• 文本噪声对零样本学习性能具有显著负面影响，缺乏噪声抑制的方法始终表现逊于所提出方法。
• 噪声抑制机制并未完全消除无关维度，而是降低了其影响，从而保留了文本表征中细微但集体具有信息量的模式。
• 发现三类词汇具有实用性：类似属性的描述词、与关键概念共现的弱相关术语，以及在相关类别中表现出一致分布模式的无信息术语。
• 诸如 'belong' 和 'general' 等词汇在多个动物类别中被赋予高重要性权重，表明文档源中存在数据集偏差，但当集体使用时仍能增强区分能力。
• 该方法在两个大规模零样本学习基准上实现了最先进性能，验证了其在真实世界自动零样本学习场景中的有效性。