[论文解读] Auto-STGCN: Autonomous Spatial-Temporal Graph Convolutional Network Search Based on Reinforcement Learning and Existing Research Results

Chunnan Wang, Kaixin Zhang+2 more|arXiv (Cornell University)|Oct 15, 2020

Traffic Prediction and Management Techniques参考文献 32被引用 7

一句话总结

本文提出 Auto-STGCN，一种基于强化学习的时空图卷积网络自动神经架构搜索框架。通过将现有 STGCN 操作统一为参数化的 Unified-STGCN 框架，Auto-STGCN 在多样化的架构与训练配置中进行搜索，以发现性能更优的模型，在 PEMS03、PEMS04、PEMS07 和 PEMS08 等基准数据集上实现了最先进性能。

ABSTRACT

In recent years, many spatial-temporal graph convolutional network (STGCN) models are proposed to deal with the spatial-temporal network data forecasting problem. These STGCN models have their own advantages, i.e., each of them puts forward many effective operations and achieves good prediction results in the real applications. If users can effectively utilize and combine these excellent operations integrating the advantages of existing models, then they may obtain more effective STGCN models thus create greater value using existing work. However, they fail to do so due to the lack of domain knowledge, and there is lack of automated system to help users to achieve this goal. In this paper, we fill this gap and propose Auto-STGCN algorithm, which makes use of existing models to automatically explore high-performance STGCN model for specific scenarios. Specifically, we design Unified-STGCN framework, which summarizes the operations of existing architectures, and use parameters to control the usage and characteristic attributes of each operation, so as to realize the parameterized representation of the STGCN architecture and the reorganization and fusion of advantages. Then, we present Auto-STGCN, an optimization method based on reinforcement learning, to quickly search the parameter search space provided by Unified-STGCN, and generate optimal STGCN models automatically. Extensive experiments on real-world benchmark datasets show that our Auto-STGCN can find STGCN models superior to existing STGCN models with heuristic parameters, which demonstrates the effectiveness of our proposed method.

研究动机与目标

• 为解决缺乏自动化系统来整合现有 STGCN 模型中的有效操作以构建更强大架构的问题。
• 克服在统一、参数化搜索空间中表示多样化 STGCN 模型的挑战，以实现自动化架构发现。
• 开发一种端到端的优化方法，联合搜索模型架构与训练超参数，用于时空预测任务。
• 证明结合多个最先进 STGCN 模型的操作，可获得优于固定启发式设计的性能。

提出的方法

• 提出 Unified-STGCN，一种参数化框架，通过可配置参数将现有 STGCN 模型的操作抽象并泛化为共享搜索空间。
• 设计基于强化学习的搜索代理，以探索架构与超参数空间，其奖励信号基于验证集的 MAE 和推理延迟。
• 在 2000 轮搜索过程中，采用带有衰减调度的 epsilon-greedy 策略，以平衡探索与利用。
• 使用学习率为 0.001、折扣因子为 0.9 的 Q-learning 更新规则，以优化代理的策略。
• 在 PEMS03 数据集上对最终发现的模型（AutoSTGCNM）进行 50 个周期的训练，以评估其测试性能。
• 支持 ST-block 之间的灵活连接模式与多样的模块结构，以增强模型表达能力与搜索效率。

实验结果

研究问题

• RQ1 能否从现有架构中构建出统一的、参数化的 STGCN 模型表示，以支持自动化搜索？
• RQ2 将多个最先进 STGCN 模型的操作相结合，是否能获得优于单独使用单一模型的性能？
• RQ3 强化学习能否有效搜索架构与训练超参数，以发现最优 STGCN 模型？
• RQ4 架构多样性与灵活连接在实现高性能 STGCN 模型中有多重要？

主要发现

• Auto-STGCN 发现的 STGCN 模型（AutoSTGCNM）在 PEMS03、PEMS04 和 PEMS07 上的 MAE、MAPE 和 RMSE 指标上全面优于所有基线模型。
• 在 PEMS08 上，AutoSTGCNM 达到了最佳的 MAPE 和 RMSE，其 MAE 仅略高于 STSGCN，展现出整体优异的性能。
• 消融实验证明，具有多样化 ST-block 结构与灵活连接的模型，显著优于采用统一或刚性设计的模型。
• 在 -Multiple Source 变体中，所有操作被限制在单一源模型（STSGCN）上，其性能最差，证实了跨模型操作融合的价值。
• 搜索过程在单张 V100 GPU 上耗时约 4.75 GPU 天，表明其计算成本在实际部署中是可行的。
• 最终的 AutoSTGCNM 模型在其他数据集上表现出良好的泛化能力，展现出在不同时空预测任务间的强迁移能力。