[论文解读] Classifying Signals on Irregular Domains via Convolutional Cluster Pooling

Angelo Porrello, Davide Abati+2 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出卷积聚类池化（CCP），一种新型图神经网络层，通过在不规则图中分层聚类节点，实现参数共享和局部特征聚合。通过利用软聚类与基于中心性的聚类内排序，CCP能够捕捉多尺度的局部与全局模式，在NTU RGB+D（80.1%准确率）、CIFAR-10（84.4%）和20NEWS上均优于最先进方法，且性能提升稳定。

ABSTRACT

We present a novel and hierarchical approach for supervised classification of signals spanning over a fixed graph, reflecting shared properties of the dataset. To this end, we introduce a Convolutional Cluster Pooling layer exploiting a multi-scale clustering in order to highlight, at different resolutions, locally connected regions on the input graph. Our proposal generalises well-established neural models such as Convolutional Neural Networks (CNNs) on irregular and complex domains, by means of the exploitation of the weight sharing property in a graph-oriented architecture. In this work, such property is based on the centrality of each vertex within its soft-assigned cluster. Extensive experiments on NTU RGB+D, CIFAR-10 and 20NEWS demonstrate the effectiveness of the proposed technique in capturing both local and global patterns in graph-structured data out of different domains.

研究动机与目标

• 为解决在缺乏规则结构的不规则非欧几里得图域上进行信号分类的挑战，标准CNN因缺乏结构规则而失效。
• 通过利用局部连接性和分层聚类，将CNN中的参数共享机制推广至图结构数据。
• 开发一种基于空间的图卷积层，通过以聚类为中心的特征聚合，保持平移不变性与局部不变性。
• 通过在每一层进行软聚类以粗化图结构，实现有效的多尺度表征学习。
• 验证任务特定的聚类与聚类内排序可提升泛化能力与性能，优于随机或固定池化策略。

提出的方法

• 提出卷积聚类池化（CCP）层，在输入图上执行软聚类，形成更粗粒度的分层图表示。
• 采用可学习的聚类机制，其中每个节点被软性分配至多个聚类，聚类亲和度在训练过程中学习。
• 针对每个聚类，基于其中心性（如度中心性或特征向量中心性）选择固定数量的候选节点，并进行排序，以定义一致的感受野。
• 在每个聚类内应用固定卷积核的空间卷积操作，实现相似局部结构间的参数共享。
• 通过堆叠多个CCP层构建多尺度架构，逐步粗化图结构并捕获全局上下文。
• 通过反向传播优化联合损失函数，包含重建损失（L0）与聚类一致性损失（LK），并反向传播至聚类隶属关系。

实验结果

研究问题

• RQ1 分层聚类机制是否能有效实现在不规则域图卷积网络中的参数共享？
• RQ2 与随机或固定排序相比，基于中心性的聚类内节点排序如何提升特征聚合与模型泛化能力？
• RQ3 在训练过程中端到端学习聚类分配是否优于固定粗化策略（如Graclus）？
• RQ4 所提出的损失函数（L0 + LK）在促进紧凑且有意义的聚类与稳定训练方面有多大的作用？
• RQ5 在多样化的图结构数据集上，与基于注意力或谱图卷积的方法相比，所提方法在鲁棒性与准确率方面表现如何？

主要发现

• 所提出的CCP模型在CIFAR-10上达到84.4%的准确率，显著优于使用ChebNet与Graclus粗化的先前最佳结果78.15%。
• 在Cross-Subject NTU RGB+D数据集上，CCP达到80.1%的准确率，超越使用ChebNet与Graclus的最先进方法74.85%的准确率。
• 消融实验表明，若移除聚类损失（L0）的梯度，CIFAR-10上的性能下降至66.7%，证实了端到端聚类优化的重要性。
• 使用基于中心性的聚类内排序可将测试准确率提升至84.4%，而随机节点置换仅达80.3%，证明了结构化感受野的有效性。
• 损失曲面分析显示，L0最小化导致LK下降，表明随着模型学习更优表征，聚类紧凑性得到提升。
• 模型对图布局变化具有鲁棒性，即使在注意力模型（如GAT）在固定结构图上失效时，仍保持一致性能。