[论文解读] Janossy Pooling: Learning Deep Permutation-Invariant Functions for Variable-Size Inputs

Ryan L. Murphy, Balasubramaniam Srinivasan+2 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning in Bioinformatics参考文献 46被引用 65

一句话总结

本文介绍 Janossy pooling，通过对所有输入排列的排列敏感函数输出取平均来学习对变量长度输入的排列不变函数，并提出可行的近似和学习算法。

ABSTRACT

We consider a simple and overarching representation for permutation-invariant functions of sequences (or multiset functions). Our approach, which we call Janossy pooling, expresses a permutation-invariant function as the average of a permutation-sensitive function applied to all reorderings of the input sequence. This allows us to leverage the rich and mature literature on permutation-sensitive functions to construct novel and flexible permutation-invariant functions. If carried out naively, Janossy pooling can be computationally prohibitive. To allow computational tractability, we consider three kinds of approximations: canonical orderings of sequences, functions with $k$-order interactions, and stochastic optimization algorithms with random permutations. Our framework unifies a variety of existing work in the literature, and suggests possible modeling and algorithmic extensions. We explore a few in our experiments, which demonstrate improved performance over current state-of-the-art methods.

研究动机与目标

• 开发一个灵活、可学习的池化算子，使其对输入顺序不变并支持变长输入。
• 利用排列敏感函数构建强大的排列不变神经网络。
• 提供可行的策略（规范化输入顺序、k-元依赖、置换采样）并在 Janossy pooling 框架内统一现有方法。
• 分析与 DeepSets 与 de Finetti 置换性等现有工作的联系，并研究训练动态。
• 通过实证证明 Janossy pooling 在相关任务中优于最先进的基线方法。

提出的方法

• 将 Janossy pooling 定义为对所有输入排列应用的排列敏感函数输出的平均值。
• 引入三叉式可行性方法：规范输入顺序、k-元依赖和置换采样（pi-SGD）。
• 证明 k-元 Janossy pooling 将计算量减少到一部分排列的子集。
• 提供将 DeepSets 与 1-元 Janossy pooling 联系起来的分析，并讨论表达能力与计算成本之间的权衡。
• 提出 pi-SGD，通过采样随机排列来训练排列敏感模型。
• 讨论训练好的 Janossy 模型的推理含义及方差降低的想法。

实验结果

研究问题

• RQ1 如何灵活地为可变长度输入学习排列不变函数？
• RQ2 哪些对全量 Janossy pooling 的可行近似能够在降低计算量的同时保留表达能力？
• RQ3 在实践中，规范输入顺序、k-元依赖和置换采样在学习排列不变模型方面有何比较？
• RQ4 Janossy pooling、DeepSets 与有限 de Finetti 置换性之间存在哪些理论联系？
• RQ5 在使用基于排列的训练时，pi-SGD 在收敛性与推理方面表现如何？

主要发现

• Janossy pooling 提供了一个将排列敏感组件构建成排列不变网络的统一框架。
• 提出三种可行性策略：规范输入顺序、k-元依赖，以及置换采样，在表达能力和成本之间权衡。
• k-元 Janossy pooling 通过对减少的排列子集求和来降低组合负担。
• pi-SGD 提供了一种通过对输入排列进行采样来训练基于 Janossy 的模型的有原则的随机优化方法。
• 该方法在实验中相对于最先进的基线显示出性能提升（如所述）。
• 在概率层面建立了 Janossy pooling 与有限 de Finetti 置换性之间的联系。）