[论文解读] Interstellar: Searching Recurrent Architecture for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao+1 more|arXiv (Cornell University)|Nov 17, 2019

Advanced Graph Neural Networks参考文献 72被引用 14

一句话总结

该论文提出 Interstellar，一种神经架构搜索（NAS）框架，通过利用关系路径捕捉短期与长期依赖，发现适用于知识图嵌入的最优循环神经网络架构。通过构建特定领域的搜索空间并引入结合独立搜索与单次搜索的混合搜索算法，Interstellar 在实体对齐与链接预测任务上实现了最先进性能，且搜索成本高效。

ABSTRACT

Knowledge graph (KG) embedding is well-known in learning representations of KGs. Many models have been proposed to learn the interactions between entities and relations of the triplets. However, long-term information among multiple triplets is also important to KG. In this work, based on the relational paths, which are composed of a sequence of triplets, we define the Interstellar as a recurrent neural architecture search problem for the short-term and long-term information along the paths. First, we analyze the difficulty of using a unified model to work as the Interstellar. Then, we propose to search for recurrent architecture as the Interstellar for different KG tasks. A case study on synthetic data illustrates the importance of the defined search problem. Experiments on real datasets demonstrate the effectiveness of the searched models and the efficiency of the proposed hybrid-search algorithm.

研究动机与目标

• 为解决在知识图谱中同时捕捉短期三元组级与长期路径级依赖的挑战。
• 设计一种针对知识图嵌入任务定制的领域特定搜索空间，用于循环架构。
• 克服独立搜索与单次搜索NAS方法在知识图谱复杂循环搜索空间中的局限性。
• 开发一种高效的混合搜索算法，结合独立搜索的可靠性与单次搜索的速度优势。
• 在真实世界知识图谱基准上实证验证所搜索架构的有效性与效率。

提出的方法

• 将 Interstellar 问题形式化为一项专注于处理知识图谱中关系路径的循环架构的神经架构搜索（NAS）任务。
• 设计一个领域特定的搜索空间，包含源自成熟知识图嵌入模型（如 TransE、ComplEx、RotatE）的操作，以确保兼容性与表达能力。
• 提出一种混合搜索算法，交替使用独立搜索（以保证准确性）与单次搜索（以提升效率），从而在复杂循环空间中提升搜索可靠性。
• 采用两阶段搜索流程：在路径级架构组件上进行宏观层面搜索，在循环单元级上进行微观层面搜索。
• 对单次组件采用可微分搜索策略，通过基于梯度的优化；在独立阶段则通过验证集选择保持准确性。
• 将最终搜索到的架构应用于下游任务（如实体对齐与链接预测），并通过超参数（如初始学习率、dropout、L2正则化、批量大小）的微调进行优化。

实验结果

研究问题

• RQ1 统一的循环架构能否有效建模知识图谱中关系路径的短期三元组交互与长期依赖？
• RQ2 如何为知识图嵌入任务专门设计一个神经架构搜索框架，以发现任务自适应的循环架构？
• RQ3 当应用于知识图谱中的复杂循环搜索空间时，现有NAS方法（尤其是独立搜索与单次搜索方法）存在哪些局限性？
• RQ4 结合独立搜索与单次搜索方法优势的混合搜索策略，能否在该领域提升搜索效率与可靠性？
• RQ5 所搜索架构在标准知识图谱基准上的性能与手工设计模型及其他NAS方法相比如何？

主要发现

• Interstellar 中的混合搜索算法在相同搜索空间下性能优于独立搜索与单次搜索NAS方法（如 DARTS、ASNG），后者因搜索动态不稳定而表现出较差的可靠性。
• 在实体对齐与链接预测任务中，Interstellar 搜索到的模型优于基线模型，包括基于 TransE、ComplEx 与 RotatE 的模型，证明了所学习架构的有效性。
• Interstellar 的搜索过程计算效率高，总搜索时间（宏观 + 微观层级）在约 15 至 92 小时之间，与微调时间（最高达 200 小时）相当，表明搜索成本可控。
• 在合成数据上的案例研究证实，该搜索空间合理且具备发现泛化能力强的有意义架构的能力。
• 所提方法不仅限于知识图嵌入任务；该混合搜索算法具有通用性，可适用于其他具有复杂搜索空间的领域。
• 最终模型在 WN18-RR 与 FB15k-237 上均实现了实体对齐与链接预测的最先进性能，验证了该框架的有效性。