[论文解读] Context Aware Image Annotation in Active Learning

Yingcheng Sun, Kenneth A. Loparo|arXiv (Cornell University)|Feb 6, 2020

Advanced Image and Video Retrieval Techniques参考文献 44被引用 7

一句话总结

本文提出了一种上下文感知图像标注框架（CAIAF），通过利用图像元数据在主动学习中降低标注成本，方法是将图像聚类为语义相似的组，并在标注过程中提供元数据作为上下文线索。实验表明，与传统的主动学习方法相比，CAIAF在保持高分类性能的同时显著降低了标注成本。

ABSTRACT

Image annotation for active learning is labor-intensive. Various automatic and semi-automatic labeling methods are proposed to save the labeling cost, but a reduction in the number of labeled instances does not guarantee a reduction in cost because the queries that are most valuable to the learner may be the most difficult or ambiguous cases, and therefore the most expensive for an oracle to label accurately. In this paper, we try to solve this problem by using image metadata to offer the oracle more clues about the image during annotation process. We propose a Context Aware Image Annotation Framework (CAIAF) that uses image metadata as similarity metric to cluster images into groups for annotation. We also present useful metadata information as context for each image on the annotation interface. Experiments show that it reduces that annotation cost with CAIAF compared to the conventional framework, while maintaining a high classification performance.

研究动机与目标

• 为解决主动学习中模糊或复杂图像标注成本过高的问题，这些图像通常最具信息量但最难标注。
• 通过在标注过程中向人工标注者提供上下文元数据，降低整体标注成本。
• 在最小化所需标注样本数量的同时，保持高分类性能。
• 探究基于元数据的聚类是否能提升标注效率并减轻标注者负担。
• 设计一种将相关元数据作为上下文支持集成到标注界面的人机交互方式。

提出的方法

• CAIAF 使用图像元数据（如位置、时间、设备、标签等）作为相似性度量标准，将图像聚类为语义一致的组别。
• 在标注过程中，将每个簇内的图像一并呈现，使标注者能够利用共享上下文实现更快、更一致的标注。
• 该框架将元数据作为视觉线索整合到标注界面中，为模糊图像提供额外的语义上下文。
• 主动学习基于不确定性采样选择待标注图像，但优先选择具有高上下文一致性的簇，以提升标注效率。
• 通过元数据聚类减少了对单个图像的逐一检查需求，使标注者能够通过群体模式推断标签。
• 系统结合基于不确定性的查询选择与基于元数据的分组策略，平衡样本的信息量与标注成本。

实验结果

研究问题

• RQ1 在主动学习流程中引入图像元数据是否能降低整体标注成本？
• RQ2 向标注者提供上下文元数据是否能提升标注速度与一致性？
• RQ3 基于元数据的聚类是否能在减少标注图像数量的同时维持或提升分类性能？
• RQ4 元数据集成对标注模糊或复杂图像的难度有何影响？
• RQ5 与标准主动学习相比，上下文感知分组在多大程度上减轻了标注者的标注负担？

主要发现

• CAIAF 通过利用元数据将相似图像分组，显著降低了标注成本，实现了更高效的标注流程。
• 即使标注样本数量较少，该框架仍能保持高分类性能，展现出良好的鲁棒性。
• 当提供元数据上下文时，标注者标注图像所花费的时间和精力更少，尤其在处理模糊图像时更为明显。
• 基于元数据分组的图像标注一致性高于孤立图像标注。
• 将元数据作为相似性度量标准，提升了主动学习查询的质量，使其聚焦于具有语义意义的样本。
• 该系统在减少标注工作量的同时，实现了与基线主动学习方法相当或更优的性能。