[论文解读] flexgrid2vec: Learning Efficient Visual Representations Vectors

Ali Hamdi, Du Yong Kim+1 more|arXiv (Cornell University)|Jul 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 92被引用 8

一句话总结

flexgrid2vec 提出了一种基于图神经网络（GNN）的新方法，通过从关键图像块构建灵活的网格图，利用多通道图卷积网络（GCN）聚合节点嵌入，从而学习紧凑高效的视觉表征。该方法在多个基准测试中达到最先进性能，包括在 CIFAR-10 上达到 96.23% 和在 ASIRRA 上达到 98.8% 的准确率，即使在低分辨率和类别不平衡的数据集上也表现优异。

ABSTRACT

We propose flexgrid2vec, a novel approach for image representation learning. Existing visual representation methods suffer from several issues, including the need for highly intensive computation, the risk of losing in-depth structural information and the specificity of the method to certain shapes or objects. flexgrid2vec converts an image to a low-dimensional feature vector. We represent each image with a graph of flexible, unique node locations and edge distances. flexgrid2vec is a multi-channel GCN that learns features of the most representative image patches. We have investigated both spectral and non-spectral implementations of the GCN node-embedding. Specifically, we have implemented flexgrid2vec based on different node-aggregation methods, such as vector summation, concatenation and normalisation with eigenvector centrality. We compare the performance of flexgrid2vec with a set of state-of-the-art visual representation learning models on binary and multi-class image classification tasks. Although we utilise imbalanced, low-size and low-resolution datasets, flexgrid2vec shows stable and outstanding results against well-known base classifiers. flexgrid2vec achieves 96.23% on CIFAR-10, 83.05% on CIFAR-100, 94.50% on STL-10, 98.8% on ASIRRA and 89.69% on the COCO dataset.

研究动机与目标

• 为解决卷积神经网络（CNN）及现有基于 GNN 的视觉表征方法的局限性，如刚性网格结构、高计算成本以及结构信息丢失问题。
• 开发一种仅从最具代表性的图像块中学习特征的方法，同时保留其空间关系。
• 构建一种灵活且低维的视觉表征，保留全局与局部结构信息，且不依赖预定义的语义标签。
• 在多样化的低资源数据集上评估所提方法，以证明其在真实场景中的鲁棒性与高效性。

提出的方法

• 构建一个二维网格图，其中节点对应图像中的关键点位置，保留空间坐标，支持灵活的节点布局。
• 在检测到的关键点周围提取图像块，并对每个块使用多个 CNN 计算卷积特征。
• 应用图卷积网络（GCN）通过邻近节点的特征聚合来学习节点嵌入，采用的方法包括向量求和、拼接以及使用特征向量中心性进行归一化。
• 采用谱方法与非谱方法实现 GCN，以学习节点表征，包含多种聚合策略（Agg1、Agg2、EVC1、EVC2）及其正则化变体。
• 通过聚合所有节点嵌入生成最终的 1×512 特征向量，实现下游分类任务的紧凑表征。
• 使用主成分分析（PCA）对学习到的表征进行可视化，以展示其在类别不平衡数据集（如 COCO 和 ASIRRA）上的判别能力。

实验结果

研究问题

• RQ1 灵活的网格图表征结合 GCN 学习是否能在保持结构信息的同时降低视觉表征学习中的计算成本？
• RQ2 flexgrid2vec 在低分辨率、类别不平衡和小规模数据集上的表现相较于当前最先进模型如何？
• RQ3 不同的节点聚合与嵌入策略（如求和、特征向量中心性）对模型准确率与效率有何影响？
• RQ4 flexgrid2vec 在多样化的图像分类任务中（包括二分类与多分类设置）的泛化能力如何？
• RQ5 flexgrid2vec 在无预定义对象标签的非结构化、非语义图像上学习判别性特征的效率如何？

主要发现

• flexgrid2vec 在 CIFAR-10 上达到 96.23% 的测试准确率，尽管使用了低分辨率和类别不平衡的数据，仍优于众多当前最先进模型。
• 在 CIFAR-100 上，flexgrid2vec 达到 83.05% 的准确率，展现出在多类别、细粒度图像分类任务中的强大性能。
• 在 ASIRRA 数据集上，模型准确率达到 98.8%，表明其对类别不平衡和低分辨率输入具有高度鲁棒性。
• 在 COCO 数据集上，flexgrid2vec 达到 89.69% 的准确率，证明其在高度不平衡且复杂的视觉数据中依然有效。
• Agg1R 和 EVC1R 聚合方法表现最佳，分别在 ASIRRA 上达到 98.8% 和 97.9% 的准确率，证实了正则化聚合策略的有效性。
• 将块大小从 64×64 减小到 32×32 使准确率从 90.1% 提升至 98.8%，表明更小、更聚焦的块能显著提升表征质量。