[论文解读] Fast Detection of Maximum Common Subgraph via Deep Q-Learning.

Yunsheng Bai, Derek Xu+7 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Graph Neural Networks参考文献 45被引用 14

一句话总结

该论文提出 RLMCS，一种基于图神经网络（GNN）和深度 Q-网络（DQN）的深度强化学习方法，用于近似计算两幅图之间的最大公共子图（MCS）。通过利用探索树结构和一种新颖的联合图嵌入方法，RLMCS 在真实世界数据集上实现了高精度与高效率，优于精确求解器和监督模型。

ABSTRACT

Detecting the Maximum Common Subgraph (MCS) between two input graphs is fundamental for applications in biomedical analysis, malware detection, cloud computing, etc. This is especially important in the task of drug design, where the successful extraction of common substructures in compounds can reduce the number of experiments needed to be conducted by humans. However, MCS computation is NP-hard, and state-of-the-art exact MCS solvers do not have worst-case time complexity guarantee and cannot handle large graphs in practice. Designing learning based models to find the MCS between two graphs in an approximate yet accurate way while utilizing as few labeled MCS instances as possible remains to be a challenging task. Here we propose RLMCS, a Graph Neural Network based model for MCS detection through reinforcement learning. Our model uses an exploration tree to extract subgraphs in two graphs one node pair at a time, and is trained to optimize subgraph extraction rewards via Deep Q-Networks. A novel graph embedding method is proposed to generate state representations for nodes and extracted subgraphs jointly at each step. Experiments on real graph datasets demonstrate that our model performs favorably to exact MCS solvers and supervised neural graph matching network models in terms of accuracy and efficiency.

研究动机与目标

• 为解决在大规模图中检测最大公共子图（MCS）这一 NP-难问题，尤其在药物设计和恶意软件检测等应用中的挑战。
• 开发一种基于学习的方法，以高精度近似 MCS，同时最大限度减少对标注 MCS 实例的依赖。
• 在计算效率上超越精确的 MCS 求解器，后者缺乏最坏情况时间保证，且在处理大规模图时表现困难。
• 设计一种强化学习框架，通过逐节点匹配的方式动态探索并提取公共子图。
• 提出一种联合图嵌入技术，以在提取过程的每一步捕捉节点和子图的表示。

提出的方法

• RLMCS 采用基于深度 Q-网络（DQN）的强化学习框架，通过最大化源自子图共现性的奖励信号来优化子图提取。
• 探索树结构支持通过逐对匹配两幅输入图中的节点，实现子图的增量式构建。
• 提出一种新颖的图嵌入方法，联合编码节点特征和每一步中不断演化的子图结构，以生成状态表示。
• DQN 代理利用该状态表示选择动作（节点对匹配），以最大化子图提取过程中的累积奖励。
• 通过经验回放和目标网络实现端到端训练，以稳定学习过程，奖励函数被设计为更倾向于更大、更常见的子图。
• 该框架支持归纳和归纳推理，能够在极少微调的情况下泛化到未见过的图对。

实验结果

研究问题

• RQ1 与精确求解器相比，基于强化学习的方法是否能在显著降低计算时间的同时实现具有竞争力的 MCS 检测准确率？
• RQ2 联合图嵌入方法在增量式 MCS 提取过程中捕捉演化子图状态方面的有效性如何？
• RQ3 在标注 MCS 实例有限的情况下，RLMCS 对未见图对的泛化能力在多大程度上得以实现？
• RQ4 在真实世界图数据集上，RLMCS 与监督神经图匹配模型相比，在准确率和效率方面表现如何？
• RQ5 RLMCS 中的探索树机制是否能有效扩展到更大规模的图，同时不牺牲子图质量？

主要发现

• 在真实图数据集上，RLMCS 的准确率高于当前最先进的监督神经图匹配模型，尤其在检测较大公共子结构方面表现更优。
• 该模型展现出卓越的效率，在大规模图上的 MCS 检测耗时显著少于精确求解器。
• 在运行时间可扩展性方面，RLMCS 优于精确的 MCS 求解器，能够处理因计算复杂度而使精确方法无法处理的图。
• 联合图嵌入方法实现了有效的状态表示学习，有助于 DQN 框架中稳定且高奖励策略的学习。
• 该模型对未见图对具有良好的泛化能力，仅需极少标注数据，支持其在药物设计等实际应用中的部署。
• 实证结果表明，即使在输入图结构差异较大的情况下，RLMCS 仍能保持高精确率和高召回率。