[论文解读] Exploiting Multi-modal Curriculum in Noisy Web Data for Large-scale Concept Learning

Junwei Liang, Lu Jiang+2 more|arXiv (Cornell University)|Jul 16, 2016

Text and Document Classification Technologies参考文献 6被引用 4

一句话总结

本文提出WEbly-Labeled Learning（WELL），一种多模态课程学习框架，利用噪声网络视频数据（包括标题、语音和视觉特征）训练概念检测器，无需人工标注。WELL优先选择更简单、更可信的样本进行迭代训练，并逐步引入更嘈杂的样本，从而在大规模视频数据集上实现最先进性能，其准确率与使用干净数据训练的监督模型相当。

ABSTRACT

Learning video concept detectors automatically from the big but noisy web data with no additional manual annotations is a novel but challenging area in the multimedia and the machine learning community. A considerable amount of videos on the web are associated with rich but noisy contextual information, such as the title, which provides weak annotations or labels about the video content. To leverage the big noisy web labels, this paper proposes a novel method called WEbly-Labeled Learning (WELL), which is established on the state-of-the-art machine learning algorithm inspired by the learning process of human. WELL introduces a number of novel multi-modal approaches to incorporate meaningful prior knowledge called curriculum from the noisy web videos. To investigate this problem, we empirically study the curriculum constructed from the multi-modal features of the videos collected from YouTube and Flickr. The efficacy and the scalability of WELL have been extensively demonstrated on two public benchmarks, including the largest multimedia dataset and the largest manually-labeled video set. The comprehensive experimental results demonstrate that WELL outperforms state-of-the-art studies by a statically significant margin on learning concepts from noisy web video data. In addition, the results also verify that WELL is robust to the level of noisiness in the video data. Notably, WELL trained on sufficient noisy web labels is able to achieve a comparable accuracy to supervised learning methods trained on the clean manually-labeled data.

研究动机与目标

• 解决大规模视频概念学习中因高昂人工标注成本带来的挑战。
• 利用YouTube和Flickr等平台丰富的但带有噪声的网络元数据（标题、描述、语音、图像）实现弱监督学习。
• 开发一种可扩展、鲁棒的框架，通过从简单到复杂的样本逐步推进，模拟人类学习过程。
• 证明利用多模态先验知识的网络弱监督学习可达到甚至超越使用干净人工标注数据训练的模型性能。

提出的方法

• WELL基于课程学习和自 paced 学习原则构建，模型从复杂度逐渐增加的样本中学习。
• 从网络视频中提取多模态特征（视觉、文本、语音），形成先验知识的课程。
• 该框架根据各模态的置信度分数动态选择训练样本，优先选择高置信度、低噪声的样本进行早期训练。
• 采用兼顾模型准确率与样本选择的损失函数，其中超参数λ控制每轮迭代中添加样本的难度。
• 课程基于跨模态一致性构建——例如当图像分类、语音识别和标题均提示“狗”时。
• 训练过程迭代进行，λ随时间递增，逐步引入更模糊或更嘈杂的样本，通过早期停止减少误报的影响。

实验结果

研究问题

• RQ1 能否有效利用多模态网络元数据，在无需人工标注的情况下训练出准确的视频概念检测器？
• RQ2 基于多模态置信度的课程学习策略是否能提升在噪声网络数据上的性能？
• RQ3 利用多模态先验知识的网络弱监督学习能否实现与在干净人工标注数据上训练的监督学习模型相当的性能？
• RQ4 所提出方法对网络视频标签中不同水平的噪声具有多强的鲁棒性？

主要发现

• 在TRECVID MED数据集上，WELL使用2000小时的网络弱标注数据，实现了0.697的平均精度均值（mAP），显著优于先前方法。
• 在FCVID数据集上，WELL使用2000小时数据达到0.650 mAP，当仅使用网络弱标注数据时，超越了最佳基线方法rDNN-F（0.754）。
• 在YFCC100M数据集上，WELL实现了0.667 P@3、0.663 P@5和0.649 P@10，优于所有基线方法，包括GoogleHNM和BabyLearning。
• 该方法对噪声表现出强鲁棒性：随着数据量增加，性能持续提升，且通过延迟引入噪声样本有效缓解了误报问题。
• 尽管采用迭代式课程机制，WELL的运行时间与基线方法相当（在包含239个概念的FCVID上耗时7小时）。
• 定性分析表明，WELL选择的样本语义连贯，且难度逐步提升——例如从清晰的操场场景，逐步过渡到包含唱歌或远足的复杂生日聚会场景。