[论文解读] Graph-based Isometry Invariant Representation Learning

Renata Khasanova, Pascal Frossard|arXiv (Cornell University)|Mar 1, 2017

Domain Adaptation and Few-Shot Learning被引用 34

一句话总结

该论文提出TIGraNet，一种基于图的深度学习框架，通过将图像建模为网格图上的信号，学习等距不变表示，利用谱卷积和动态图池化实现对旋转和平移的固有不变性。该方法在旋转和平移图像分类任务上达到最先进性能，即使在未使用数据增强训练的情况下，也优于卷积神经网络（ConvNets）和空间变压器网络（Spatial Transformer Networks）。

ABSTRACT

Learning transformation invariant representations of visual data is an important problem in computer vision. Deep convolutional networks have demonstrated remarkable results for image and video classification tasks. However, they have achieved only limited success in the classification of images that undergo geometric transformations. In this work we present a novel Transformation Invariant Graph-based Network (TIGraNet), which learns graph-based features that are inherently invariant to isometric transformations such as rotation and translation of input images. In particular, images are represented as signals on graphs, which permits to replace classical convolution and pooling layers in deep networks with graph spectral convolution and dynamic graph pooling layers that together contribute to invariance to isometric transformations. Our experiments show high performance on rotated and translated images from the test set compared to classical architectures that are very sensitive to transformations in the data. The inherent invariance properties of our framework provide key advantages, such as increased resiliency to data variability and sustained performance with limited training sets.

研究动机与目标

• 解决深度卷积网络在图像分类中处理旋转和平移等几何变换时的局限性。
• 开发一种深层神经网络架构，能够固有地学习变换不变特征，而无需依赖数据增强。
• 利用图信号处理构建滤波器和池化操作，以在等距变换下保持不变性。
• 设计一种新型统计层，通过结合不变的图基特征提升分类鲁棒性。
• 在训练数据有限且测试集中存在未见变换的情况下，展示在基准数据集上的优越性能。

提出的方法

• 将输入图像表示为网格图上的信号，用结构化的图表示替代像素矩阵，以解耦方向和位置。
• 采用图谱卷积，使用图拉普拉斯矩阵的多项式滤波器，避免昂贵的特征分解，实现高效特征学习。
• 提出动态图池化，可在特征学习过程中自适应地优化图结构，以保持空间关系。
• 在最终全连接层之前设计一种新型统计层，以有效聚合变换不变特征。
• 将谱卷积、动态池化与统计层结合，构成完整的端到端深度网络架构TIGraNet。
• 通过网络结构设计使学习到的特征对等距变换保持不变，从而在未见旋转和平移下具备鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种深度学习架构，使其能够固有地学习对等距变换（如旋转和平移）不变的特征？
• RQ2 如何利用图信号处理替代经典卷积和池化层，同时保持变换不变性？
• RQ3 在训练集中未出现几何变换而测试集中存在此类变换的数据集上，图表示在多大程度上能提升分类准确率？
• RQ4 与STN、HarmNet和DeepScat等最先进模型相比，所提出的TIGraNet架构在数据可变性下的鲁棒性和性能表现如何？
• RQ5 当测试集中存在训练中未见的变换时，该方法是否能在训练数据有限的情况下保持高性能？

主要发现

• 在MNIST-rot数据集上，TIGraNet达到95.1%的准确率，显著优于STN（45.1%）、ConvNet（80.1%）、DeepScat（87.3%）和HarmNet（94.0%）。
• 在MNIST-trans数据集上，尽管训练中未使用平移增强，TIGraNet仍保持高性能，证明其对几何变换具有强大不变性。
• 在训练样本有限的ETH-80数据集上，TIGraNet的准确率优于ConvNet和STN，后两者在数据稀缺时性能下降，证实了其在小样本数据下的鲁棒性。
• 网络的特征图显示，误分类主要源于极端位移引起的边界伪影，表明空间约束影响了节点邻域的稳定性。
• 所提出的统计层能有效结合不变特征，提升分类性能，且不削弱全连接层的表达能力。
• TIGraNet能很好地泛化到未见变换，即使训练中未包含此类数据，也能正确分类旋转和平移后的图像。