[论文解读] Powerset Convolutional Neural Networks

Chris Wendler, Dan Alistarh+1 more|arXiv (Cornell University)|Sep 5, 2019

Neural Networks and Applications被引用 5

一句话总结

本文提出幂集卷积神经网络（Powerset CNNs），一种新颖的深度学习框架，用于集合函数——即在有限集合的幂集上索引的数据——通过利用代数信号处理导出的线性、平移等变卷积。该方法在合成数据和基于超图的集合函数分类任务中，优于全连接网络和图卷积网络基线模型。

ABSTRACT

We present a novel class of convolutional neural networks (CNNs) for set functions, i.e., data indexed with the powerset of a finite set. The convolutions are derived as linear, shift-equivariant functions for various notions of shifts on set functions. The framework is fundamentally different from graph convolutions based on the Laplacian, as it provides not one but several basic shifts, one for each element in the ground set. Prototypical experiments with several set function classification tasks on synthetic datasets and on datasets derived from real-world hypergraphs demonstrate the potential of our new powerset CNNs.

研究动机与目标

• 解决现有深度学习框架在不规则数据域（如集合函数）中的缺失问题，这些数据不适用于标准CNN或图神经网络。
• 通过利用幂集域中的对称性，设计一种系统性的集合函数卷积层方法。
• 通过新颖的网络架构（包括专为幂集数据设计的卷积和池化层），实现在集合函数上的实用深度学习。
• 在真实世界超图数据和合成集合函数分类任务上，展示该框架的实用性。
• 弥合幂集上理论信号处理与几何深度学习中实际神经网络应用之间的差距。

提出的方法

• 将幂集卷积表述为使用集合并运算作为平移操作的线性、平移等变函数：$(h*s)_A = \sum_{Q \subseteq N} h_Q s_{A \setminus Q}$。
• 利用沃尔什-哈达玛变换（WHT）作为幂集域的傅里叶变换，实现频谱分析并实现卷积算子的对角化。
• 设计用于集合函数的新颖池化层，以在保持结构信息的同时降低维度，且与幂集卷积框架兼容。
• 通过堆叠幂集卷积和池化层构建完整的CNN架构，每个卷积模块后应用非线性激活函数。
• 通过子超图提取和特征聚合，将超图表示为集合函数，从而实现对真实世界数据的应用。
• 使用标准反向传播和随机优化方法，对网络进行端到端训练，以解决集合函数分类任务。

实验结果

研究问题

• RQ1 能否基于代数信号处理原理，设计一种系统性的集合函数卷积神经网络架构？
• RQ2 基于并集平移的幂集卷积与标准图卷积和全连接网络相比，在集合函数分类任务中的表现如何？
• RQ3 Powerset CNNs在具有已知次模性和频谱特性的合成数据集上的表现如何？
• RQ4 Powerset CNNs能否有效从真实世界超图数据中学习表示，并在识别子超图来源方面表现良好？
• RQ5 该方法的计算和数据可扩展性限制是什么，如何缓解？

主要发现

• Powerset CNNs在多个合成集合函数分类任务中优于全连接网络和图卷积基线模型，包括次模性和频谱特性检测任务。
• 该方法在真实世界超图数据上表现优异，能够以高准确率成功分类提取的子超图的来源。
• 沃尔什-哈达玛变换的使用实现了高效的频谱分析和卷积算子对角化，支持理论和计算稳定性。
• 该框架表明，幂集域上的平移等变性——特别是基于集合并运算——为不规则数据学习提供了稳健基础。
• 尽管在基集大小上存在指数级复杂度，但该方法在现代硬件上对 $n \leq 30$ 仍具可行性，且可通过保持稀疏性或降维技术实现进一步扩展。
• 实证结果验证了基于代数信号处理的方法驱动的思路可成功适配到新型领域中的实用深度学习任务。