[논문 리뷰] Auto-STGCN: Autonomous Spatial-Temporal Graph Convolutional Network Search Based on Reinforcement Learning and Existing Research Results

Chunnan Wang, Kaixin Zhang외 2명|arXiv (Cornell University)|2020. 10. 15.

Traffic Prediction and Management Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 강화학습을 사용하여 공간-시간 그래프 convolutional 네트워크를 위한 자동화된 신경망 아키텍처 탐색 프레임워크인 Auto-STGCN을 제안한다. 기존의 STGCN 연산들을 통합된 Unified-STGCN 프레임워크로 통합함으로써 Auto-STGCN은 다양한 아키텍처와 학습 설정을 탐색하여, PEMS03, PEMS04, PEMS07, PEMS08과 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, many spatial-temporal graph convolutional network (STGCN) models are proposed to deal with the spatial-temporal network data forecasting problem. These STGCN models have their own advantages, i.e., each of them puts forward many effective operations and achieves good prediction results in the real applications. If users can effectively utilize and combine these excellent operations integrating the advantages of existing models, then they may obtain more effective STGCN models thus create greater value using existing work. However, they fail to do so due to the lack of domain knowledge, and there is lack of automated system to help users to achieve this goal. In this paper, we fill this gap and propose Auto-STGCN algorithm, which makes use of existing models to automatically explore high-performance STGCN model for specific scenarios. Specifically, we design Unified-STGCN framework, which summarizes the operations of existing architectures, and use parameters to control the usage and characteristic attributes of each operation, so as to realize the parameterized representation of the STGCN architecture and the reorganization and fusion of advantages. Then, we present Auto-STGCN, an optimization method based on reinforcement learning, to quickly search the parameter search space provided by Unified-STGCN, and generate optimal STGCN models automatically. Extensive experiments on real-world benchmark datasets show that our Auto-STGCN can find STGCN models superior to existing STGCN models with heuristic parameters, which demonstrates the effectiveness of our proposed method.

연구 동기 및 목표

• 기존 STGCN 모델들에서 효과적인 연산을 조합하여 더 강력한 아키텍처를 만들 수 있는 자동화된 시스템의 부족을 해결하기 위해.
• 다양한 STGCN 모델들을 통합된 파라미터 기반의 탐색 공간에 표현함으로써 자동 아키텍처 탐색을 가능하게 하기 위해.
• 공간-시간 예측을 위한 모델 아키텍처와 학습 초모수를 동시에 탐색하는 종단간 최적화 방법을 개발하기 위해.
• 다양한 최신 기술 수준의 STGCN 모델들에서 유래한 연산을 조합하는 것이 고정된 히우리스틱 설계보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 기존 STGCN 모델들에서 유도된 연산을 공통 탐색 공간으로 추상화하고 일반화하는 파라미터 기반 프레임워크인 Unified-STGCN을 제안한다.
• 검색 공간 내에서 아키텍처와 초모수를 탐색하는 강화학습 기반의 검색 에이전트를 설계하며, 검증 MAE와 추론 지연 시간을 기반으로 보상 신호를 사용한다.
• 2000 에피소드에 걸친 탐색 과정 동안 탐색과 이용의 균형을 유지하기 위해 감소 스케줄을 적용한 이psilon-그리디 전략을 사용한다.
• 학습률 0.001과 할인 요소 0.9를 사용하여 Q-러닝 업데이트 규칙을 적용해 에이전트의 정책을 최적화한다.
• 최종적으로 탐색된 모델(AutoSTGCNM)을 PEMS03 데이터셋에서 50 에포크 동안 훈련하여 테스트 성능을 평가한다.
• ST-블록 간의 유연한 연결 패턴과 다양한 블록 구조를 도입하여 모델의 표현력과 탐색 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 아키텍처들로부터 통합된 파라미터 기반의 STGCN 모델 표현을 구성하여 자동 탐색을 가능하게 할 수 있는가?
• RQ2 여러 최신 기술 수준의 STGCN 모델들에서 유래한 연산을 조합하면 고립된 모델을 사용하는 것보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 강화학습이 아키텍처와 학습 초모수를 동시에 효과적으로 탐색하여 최적의 STGCN 모델을 발견할 수 있는가?
• RQ4 아키텍처의 다양성과 유연한 연결성이 STGCN 모델에서 높은 성능을 달성하는 데 얼마나 중요한가?

주요 결과

• Auto-STGCN는 PEMS03, PEMS04, PEMS07에서 MAE, MAPE, RMSE 측면에서 모든 베이스라인 모델보다 뛰어난 성능을 보이는 STGCN 모델(AutoSTGCNM)을 탐색했다.
• PEMS08에서는 MAPE와 RMSE에서 최고 성능을 기록했으며, STSGCN에 비해 MAE가 略로 높을 뿐이므로 종합적으로 뛰어난 성능을 보였다.
• 절단 실험 결과, 다양한 ST-블록 구조와 유연한 연결을 가진 모델이 균일하거나 고정된 설계를 가진 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 다중 소스 변형(-Multiple Source)은 모든 연산을 하나의 소스 모델(STSGCN)로 제한하여 가장 열 劣한 성능을 보였으며, 이는 다양한 모델 간의 연산 융합의 가치를 확인시켰다.
• 탐색 과정은 단일 V100 GPU에서 약 4.75 GPU일의 계산 시간을 소요하여 실용적 구현에 있어 타당한 계산 비용을 가짐을 시사한다.
• 최종적으로 AutoSTGCNM 모델은 다른 데이터셋으로의 일반화 능력이 뛰어나 다양한 공간-시간 예측 작업 간 전이성도 높게 나타났다.