[论文解读] End to end learning and optimization on graphs

Bryan Wilder, Eric Ewing+2 more|arXiv (Cornell University)|May 31, 2019

Advanced Graph Neural Networks参考文献 47被引用 46

一句话总结

ClusterNet 将图节点嵌入到连续空间，并通过一个软聚类层可微映射到图优化决策，在学习+优化任务中在两阶段和纯端到端基线之上实现更好的性能。

ABSTRACT

Real-world applications often combine learning and optimization problems on graphs. For instance, our objective may be to cluster the graph in order to detect meaningful communities (or solve other common graph optimization problems such as facility location, maxcut, and so on). However, graphs or related attributes are often only partially observed, introducing learning problems such as link prediction which must be solved prior to optimization. Standard approaches treat learning and optimization entirely separately, while recent machine learning work aims to predict the optimal solution directly from the inputs. Here, we propose an alternative decision-focused learning approach that integrates a differentiable proxy for common graph optimization problems as a layer in learned systems. The main idea is to learn a representation that maps the original optimization problem onto a simpler proxy problem that can be efficiently differentiated through. Experimental results show that our ClusterNet system outperforms both pure end-to-end approaches (that directly predict the optimal solution) and standard approaches that entirely separate learning and optimization. Code for our system is available at https://github.com/bwilder0/clusternet.

研究动机与目标

• 在图部分观测的情况下，推动并形式化学习与优化在图上的集成。
• 引入一个可微代理（嵌入空间中的软 K 均值）来近似离散图优化问题。
• Demonstrate end-to-end training that optimizes downstream decision quality rather than predictive accuracy.
• Show that the learned representations induce high-value solutions for downstream tasks across multiple domains.

提出的方法

• 使用图神经网络（如 GCN）将图节点嵌入一个连续空间，受观测边和节点特征驱动。
• 包含一个可微的 K 均值聚类层，将节点分配到 K 个簇，具有软分配。
• 使用前向传播通过可微的 K 均值形式更新聚类中心和软分配（对距离取 softmax，带反温度参数 beta）。
• 通过隐式函数定理对聚类定点进行微分，获得关于嵌入的梯度。
• 将聚类分配解释为图优化问题的软解（划分或子集选择），并对这些软解计算可微的期望损失。
• 提供两种将软聚类转化为离散决策的实用策略：（i）通过软划分实现划分；（ii）通过聚类中心的概率质量选取子集，然后在测试时进行舍入（如 pipage 舍入）。
• 论证并给出对高效近似/向后传递的近似保证，使端到端训练具备可扩展性。

实验结果

研究问题

• RQ1 决策聚焦学习能否在下游优化质量上超越两阶段和纯端到端方法？
• RQ2 基于嵌入的软聚类是否能作为对离散图优化问题（划分和子集选择）的有效可微代理？
• RQ3 模型对未见图的泛化能力有多强，微调在新图上的性能如何影响？
• RQ4 在聚类层的精确可微回传与近似回传之间的计算权衡是什么？

主要发现

• ClusterNet 在社区发现和设施选址任务上始终优于结合学习与优化的基线或纯端到端方法。
• 两阶段方法有时不及仅在观测边上训练的效果，显示出端到端决策聚焦学习的价值。
• GCN-e2e（纯端到端）在多数情况下与 ClusterNet 打平或逊于后者，凸显将算法结构作为可微层的好处。
• ClusterNet 在未见图与分布上的泛化能力强，若有可用的微调则可获得额外提升。
• 前向传播高效（在最大图上不超过 0.23 秒），该架构支持回传阶段的可扩展近似。