[논문 리뷰] Graph Neural Lasso for Dynamic Network Regression

Yixin Chen, Lin Meng외 1명|arXiv (Cornell University)|2019. 07. 25.

Machine Learning and ELM참고 문헌 40인용 수 4

한 줄 요약

이 논문은 게이트드 디퓨시브 유닛(Gdu)에 주목 메커니즘과 L1-정규화를 통합하여 동적 관계와 시간 추세를 동시에 모델링하는 새로운 그래프 신경망인 그래프 신경 라소(Gnl)를 제안한다. Gnl은 엔드 투 엔드로 동적 그래프 구조를 학습하며, 주식 및 교통 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The regression of multiple inter-connected sequence data is a problem in various disciplines. Formally, we name the regression problem of multiple inter-connected data entities as the "dynamic network regression" in this paper. Within the problem of stock forecasting or traffic speed prediction, we need to consider both the trends of the entities and the relationships among the entities. A majority of existing approaches can't capture that information together. Some of the approaches are proposed to deal with the sequence data, like LSTM. The others use the prior knowledge in a network to get a fixed graph structure and do prediction on some unknown entities, like GCN. To overcome the limitations in those methods, we propose a novel graph neural network, namely Graph Neural Lasso (GNL), to deal with the dynamic network problem. GNL extends the GDU (gated diffusive unit) as the base neuron to capture the information behind the sequence. Rather than using a fixed graph structure, GNL can learn the dynamic graph structure automatically. By adding the attention mechanism in GNL, we can learn the dynamic relations among entities within each network snapshot. Combining these two parts, GNL is able to model the dynamic network problem well. Experimental results provided on two networked sequence datasets, i.e., Nasdaq-100 and METR-LA, show that GNL can address the network regression problem very well and is also very competitive among the existing approaches.

연구 동기 및 목표

• 동적 네트워크에서 시간 추세와 변화하는 상호엔티티 관계를 동시에 모델링하는 과제를 해결한다.
• 기존의 시퀀스 회귀를 위한 고정 구조 GNN 및 정적 그래프 가정의 한계를 극복한다.
• 네트워크 구조 지식 없이도 동적 그래프 구조를 엔드 투 엔드로 학습할 수 있도록 한다.
• 통합된 주목 및 L1-정규화를 통해 네트워크 기반 시계열 데이터의 회귀 성능 및 일반화 능력을 향상시킨다.
• 금융, 교통, 신경과학 등에 적용 가능한 확장성 있는 딥 러닝 프레임워크를 제공한다.

제안 방법

• 노드 시계열의 시간 역학과 잠재적 추세를 모델링하기 위해 핵심 반복 셀로 게이트드 디퓨시브 유닛(Gdu)을 사용한다.
• 시간에 따라 변화하는 관계를 포착하기 위해 관련 노드로부터의 정보를 동적으로 집계하는 주목 메커니즘을 도입한다.
• 학습 중에 엔드 투 엔드로 그래프 구조를 학습하여 사전 정의된 또는 정적 네트워크 구조가 필요 없도록 한다.
• 과적합을 줄이고 수렴 속도를 향상시키기 위해 모델 파라미터에 L1-노름 정규화를 적용한다.
• 훈련 안정성과 효율성을 확보하기 위해 F-노름, 조각별 도함수, 프록시드 그래디언트, 가속 프록시드 그래디언트 등의 다수 최적화 전략을 활용한다.
• 반복 모델링과 주목 기반 메시지 전파를 결합하여 노드 수준의 역학과 네트워크 수준의 진화를 동시에 포착한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 동적 네트워크에서 시간 추세와 변화하는 노드 간 관계를 효과적으로 모델링할 수 있는가?
• RQ2 고정되거나 사전 지정된 구조에 의존하는 방법보다 엔드 투 엔드로 동적 그래프 구조를 학습하는 것이 성능을 더 잘 향상시키는가?
• RQ3 주목과 L1-정규화의 통합이 동적 네트워크 회귀에서 일반화 능력과 수렴 속도를 어떻게 향상시키는가?
• RQ4 Gnl은 나스닥-100 및 메트르-엘에이와 같은 실세계 동적 네트워크 데이터셋에서 기존의 베이스라인을 어느 정도 초월하는가?
• RQ5 다양한 최적화 기법은 Gnl 모델의 훈련 동역학과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Gnl은 나스닥-100 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, PW 기반 그래디언트 방법을 사용할 경우 1일 MAE는 0.1321, R2는 0.9556을 기록하였다.
• 메트르-엘에이 교통 데이터셋에서 Gnl은 15분 MAE 2.7928, R2 0.8869를 기록하여 도시 교통 속도 예측의 높은 정확도를 입증하였다.
• L1-정규화가 적용된 모델(Gnl-PW)은 정규화되지 않은 변종보다 더 빠르게 수렴하고 일반화 능력이 뛰어나 정규화의 효과를 확인하였다.
• 주목 메커니즘이 시간에 따라 변화하는 상관관계를 성공적으로 포착하였으며, 출퇴근 시간 유출 패턴과 주식 공동 움직임 추세를 반영한 히트맵을 통해 이를 확인할 수 있었다.
• 모든 네 가지 최적화 방법(F, PW, PG, APG)에 대한 훈련 손실 곡선은 안정적인 수렴을 보이며 강건한 훈련 동역학을 나타내었다.
• 제거 실험 결과, Gdu, 주목, L1-정규화의 조합이 제거된 변종에 비해 뛰어난 성능을 내는 것으로 확인되었다.