[论文解读] FSPool: Learning Set Representations with Featurewise Sort Pooling

Yan Zhang, Jonathon Hare+1 more|arXiv (Cornell University)|Jun 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 40被引用 34

一句话总结

引入 FSPool，一种对变量大小集合可微分、逐特征排序的池化方法，能够实现置换等变自编码器并通过避免责任问题提升下游任务表现。在若干集合基准上展示出更好重构和更快收敛。

ABSTRACT

Traditional set prediction models can struggle with simple datasets due to an issue we call the responsibility problem. We introduce a pooling method for sets of feature vectors based on sorting features across elements of the set. This can be used to construct a permutation-equivariant auto-encoder that avoids this responsibility problem. On a toy dataset of polygons and a set version of MNIST, we show that such an auto-encoder produces considerably better reconstructions and representations. Replacing the pooling function in existing set encoders with FSPool improves accuracy and convergence speed on a variety of datasets.

研究动机与目标

• 识别现有集合预测模型中的责任问题及其对学习简单集合任务的影响。
• 提出 FSPool，一种对变量大小集合可微分的排序式池化机制。
• 证明 FSPool 能实现带有标准重构损失的置换等变自编码器。
• 展示在多边形、MNIST-set、CLEVR 和图数据集上的重构质量与收敛性改进。
• 探讨在成熟模型中用 FSPool 替代标准池化的优势。

提出的方法

• 对集合元素按特征逐个排序，以获得置换不变的表示。
• 对排序后的特征应用可学习权重矩阵，生成池化向量。
• 通过连续分段线性校准器将池化扩展到可变大小集合，以生成与集合大小无关的权重。
• 在自编码器模式下，存储编码器的排序置换，并使用可微排序网络实现可微分解码；在解码时应用逆置换。
• 使用 FSUnpool 将潜在信息分配回可变大小的集合并重建原始顺序。

实验结果

研究问题

• RQ1 特征逐点排序的池化表示是否可以避免传统集合编码器/解码器所困扰的责任问题？
• RQ2 FSPool 是否在简单的多边形集合上实现近零重构误差，并在 MNIST-set 等集合基准上提升重构效果？
• RQ3 用 FSPool 替代标准池化在 CLEVR、图分类和集合预测网络等任务上对性能与收敛性的影响如何？

主要发现

• FSPool 能实现多边形顶点集合的近乎完美重构，解决了传统集合编码器/解码器观察到的责任问题。
• 在有噪声的 MNIST-set 自编码中，FSPool–FSUnpool 在重构质量上优于基线的求和池化。
• 在 MNIST-set 分类中，冻结的预训练编码与 FSPool 的组合获得更高的准确率并且收敛更快。
• 在 CLEVR 上，基于 FSPool 的模型获得最佳准确率并且相较多基线（包括 RN 和 Janossy 池化）有更快的训练进度。
• 在图分类（GIN 基线）中将池化替换为 FSPool 提高了多数据集的准确率并加快了收敛；在基于 CLEVR 的集合预测任务中，编码器使用 FSPool 时再次获得优越结果。