[论文解读] ImageNet MPEG-7 Visual Descriptors - Technical Report

Frédéric Rayar|arXiv (Cornell University)|Feb 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 9被引用 3

一句话总结

本技术报告展示了对整个ImageNet数据集（包含21,841个synset的1419.7万张图像）中MPEG-7视觉描述符——颜色布局描述符（CLD）和边缘直方图描述符（EHD）——的提取与公开发布。CLD通过8×8块的DCT量化方法捕捉空间颜色分布，而EHD则利用4×4块直方图编码边缘模式；两种描述符均以结构化文件形式公开，供内容检索与视觉识别研究使用。

ABSTRACT

ImageNet is a large scale and publicly available image database. It currently offers more than 14 millions of images, organised according to the WordNet hierarchy. One of the main objective of the creators is to provide to the research community a relevant database for visual recognition applications such as object recognition, image classification or object localisation. However, only a few visual descriptors of the images are available to be used by the researchers. Only SIFT-based features have been extracted from a subset of the collection. This technical report presents the extraction of some MPEG-7 visual descriptors from the ImageNet database. These descriptors are made publicly available in an effort towards open research.

研究动机与目标

• 通过提供超越现有SIFT特征的标准化MPEG-7视觉描述符，扩展ImageNet数据库的实用性。
• 解决当前ImageNet中缺乏全面低级视觉描述符的问题，目前仅对小部分子集提供SIFT或属性信息。
• 通过实现快速、标准化的特征提取，支持大规模基于内容的图像检索与视觉识别研究。
• 通过使用标准化的MPEG-7描述符，确保视觉识别研究的互操作性与可复现性。
• 使CLD与EHD特征在整幅ImageNet数据集上公开可用，推动计算机视觉领域的开放科学。

提出的方法

• 对ImageNet进行了完整处理，分析了21,841个synset及14,197,060张图像，排除了62个损坏文件。
• 对于CLD，每张图像被划分为64个8×8像素的块；每个块计算代表性颜色，随后进行二维DCT变换并按Z字形顺序重排低频系数。
• 通过量化前192个系数（3个通道 × 64个系数），形成CLD描述符，结果为192维向量。
• 对于EHD，每张图像被划分为16个4×4像素的块；在每个块中计算五种边缘类型（水平、垂直、对角线等）的直方图。
• 通过连接16个块 × 5种边缘类型的80个值，构建EHD描述符，每张图像形成80维向量。
• 描述符以文本文件形式存储，每行对应一张图像，格式为：image_id;value_1;...;value_d，其中CLD的d=192，EHD的d=80。

实验结果

研究问题

• RQ1 是否能够高效且一致地在整幅ImageNet数据集上大规模提取标准化的MPEG-7视觉描述符？
• RQ2 在大规模图像识别任务中，CLD与EHD描述符在捕捉空间颜色与边缘模式方面表现如何？
• RQ3 当与现有ImageNet特征（如SIFT）结合使用时，CLD与EHD在提升基于内容的图像检索性能方面能达到何种程度？
• RQ4 以可复现且公开可访问的方式处理超过1400万张图像并应用MPEG-7描述符，其可行性与可靠性如何？
• RQ5 在ImageNet的各个synset中，描述符的可用性或质量是否存在系统性差异，特别是针对边缘或颜色特征？

主要发现

• 成功为全部14,197,060张处理过的图像计算了CLD描述符，每张图像生成192维特征向量。
• 成功为全部14,197,060张图像计算了EHD描述符，每张图像生成80维特征向量。
• 共生成21,841个与synset相关的描述符文件，每个synset一个文件，文件名格式为synset_id.ext（ext为cld或ehd）。
• 完整数据集以两个压缩包形式发布：ImageNet_MPEG-7_CLD_whole.zip（约1GB）和ImageNet_MPEG-7_EHD_whole.zip（约2GB）。
• 处理流程确保了CLD的分辨率不变性以及EHD的一致性块级直方图计算，实现了高效且标准化的特征提取。
• 作者指出，尽管大多数图像均具有CLD与EHD描述符，但未对所有图像进行验证以确认其完整性。