[论文解读] Learning Functions over Sets via Permutation Adversarial Networks

Chirag Pabbaraju, Prateek Jain|arXiv (Cornell University)|Jul 12, 2019

Advanced Graph Neural Networks参考文献 33被引用 5

一句话总结

本文提出 SPAN（集合排列对抗网络），一种新颖的方法，通过将问题建模为学习者（LSTM）与生成最坏情况排列的对抗排列网络（APN）之间的极小化-极大化优化，来学习集合上的排列不变函数。SPAN 显著优于最先进的方法（如 DeepSets 和 Janossy Pooling），在 k-最远点选择等复杂集合函数任务上准确率最高提升 55%，在特征向量恢复任务上余弦相似度提升 6%。

ABSTRACT

In this paper, we consider the problem of learning functions over sets, i.e., functions that are invariant to permutations of input set items. Recent approaches of pooling individual element embeddings can necessitate extremely large embedding sizes for challenging functions. We address this challenge by allowing standard neural networks like LSTMs to succinctly capture the function over the set. However, to ensure invariance with respect to permutations of set elements, we propose a novel architecture called SPAN that simultaneously learns the function as well as adversarial or worst-case permutations for each input set. The learning problem reduces to a min-max optimization problem that is solved via a simple alternating block coordinate descent technique. We conduct extensive experiments on a variety of set-learning tasks and demonstrate that SPAN learns nearly permutation-invariant functions while still ensuring accuracy on test data. On a variety of tasks sampled from the domains of statistics, graph functions and linear algebra, we show that our method can significantly outperform state-of-the-art methods such as DeepSets and Janossy Pooling. Finally, we present a case study of how learning set-functions can help extract powerful features for recommendation systems, and show that such a method can be as much as 2% more accurate than carefully hand-tuned features on a real-world recommendation system.

研究动机与目标

• 解决现有集合函数学习方法存在的局限性，即需要较大的嵌入尺寸或在排列变化下无法泛化。
• 开发一种方法，确保排列不变性而不限制函数形式，从而能够准确学习复杂集合函数。
• 克服基于随机排列的数据增强在集合学习中计算成本高且方差大的问题。
• 展示集合函数学习在真实推荐系统中的实际应用价值。

提出的方法

• 将集合函数学习表述为极小化-极大化优化：学习者在对抗排列网络（APN）生成的最坏情况排列上最小化损失。
• 使用循环神经网络（LSTM）作为函数学习者，以排列不变的方式迭代汇总集合元素。
• 使用基于 Sinkhorn 的可微排列采样方法训练 APN，为每个输入集合生成困难的、最坏情况的排列。
• 采用交替块坐标下降法，在联合极小化-极大化训练方案中优化学习者和 APN。
• 利用 LSTM 的隐藏状态，以保持并更新集合元素间的运行汇总（如最大值、特征向量估计）。
• 通过训练模型对任意排列都具备鲁棒性（而不仅限于训练数据中的排列）来确保排列不变性。

实验结果

研究问题

• RQ1 极小化-极大化对抗框架是否能在不约束函数形式的前提下，有效强制实现集合函数学习中的排列不变性？
• RQ2 与随机或固定排列策略相比，对抗排列生成在泛化能力和鲁棒性方面表现如何？
• RQ3 SPAN 是否能在复杂集合函数（如最大流和 k-最远点选择）上超越现有最先进方法（如 DeepSets 和 Janossy Pooling）？
• RQ4 与手工设计特征相比，SPAN 在真实世界应用（如推荐系统）中的泛化能力如何？

主要发现

• 在 k=3 的 k-最远点任务中，SPAN 的准确率比 DeepSets 高出 55%，表明其在复杂集合函数上的优越性能。
• 在 d=30 的特征向量恢复任务中，SPAN 的余弦相似度比 DeepSets 高出 6%，表明其在高维输入下具有更好的泛化能力。
• 对于同一测试集的 20 种随机排列，SPAN 的预测结果保持近乎一致，标准差与均值之比 ≤1e-5，证实了其强大的排列不变性。
• 消融研究显示，若移除 APN 组件，SPAN 会偏向集合中的最后一个元素，仅在 10% 的测试案例中正确预测最大数字。
• SPAN 中基于 LSTM 的学习者优于全连接网络，在 n=200 的最大三元距离任务中，平均相对误差降低了 40%。
• 在真实世界推荐系统案例研究中，基于 SPAN 的特征使准确率最高提升 2%，优于手工调优特征。