[논문 리뷰] Fusion Recurrent Neural Network

Yiwen Sun, Yulu Wang외 4명|arXiv (Cornell University)|2020. 06. 07.

Traffic Prediction and Management Techniques참고 문헌 47인용 수 4

한 줄 요약

이 논문은 전통적인 게이트와 메모리 셀을 대체하기 위해 다중 라운드 입력-히든 상태 상호작용을 위한 '융합 모듈'과 상태 전파를 위한 '운반 모듈'을 갖춘 간소화된 RNN 아키텍처인 퓌전 뉴럴 네트워크(Fusion RNN)를 제안한다. 대규모 실세계 택시 경로 데이터셋에서 Fusion RNN은 기존의 LSTM과 GRU를 능가하는 상태의 성능을 보이며, 더 단순한 구조로 도착 예측 시간(ETA) 예측을 수행한다.

ABSTRACT

Considering deep sequence learning for practical application, two representative RNNs - LSTM and GRU may come to mind first. Nevertheless, is there no chance for other RNNs? Will there be a better RNN in the future? In this work, we propose a novel, succinct and promising RNN - Fusion Recurrent Neural Network (Fusion RNN). Fusion RNN is composed of Fusion module and Transport module every time step. Fusion module realizes the multi-round fusion of the input and hidden state vector. Transport module which mainly refers to simple recurrent network calculate the hidden state and prepare to pass it to the next time step. Furthermore, in order to evaluate Fusion RNN's sequence feature extraction capability, we choose a representative data mining task for sequence data, estimated time of arrival (ETA) and present a novel model based on Fusion RNN. We contrast our method and other variants of RNN for ETA under massive vehicle travel data from DiDi Chuxing. The results demonstrate that for ETA, Fusion RNN is comparable to state-of-the-art LSTM and GRU which are more complicated than Fusion RNN.

연구 동기 및 목표

• LSTM와 GRU에서 볼 수 있는 게이트와 메모리 셀의 복잡성을 피하면서도 효과적인 RNN 아키텍처를 개발하는 것.
• 실세계 대규모 시공간 데이터 마이닝 과제에서 제안된 모델의 시퀀스 특징 추출 능력을 평가하는 것.
• 최소한의 비게이트 RNN 아키텍처가 실용적 응용에서 최신 기술 수준의 RNN 변종들과 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.
• 융합 반복 횟수의 변화가 모델 성능과 내성에 미치는 영향을 탐색하는 것.

제안 방법

• Fusion RNN은 두 가지 핵심 모듈로 구성된다: 입력과 히든 상태 벡터 간의 다중 라운드 상호작용을 수행하는 '융합 모듈'과 업데이트된 히든 상태를 다음 타임스텝으로 전달하는 '운반 모듈'이다.
• 융합 모듈은 입력과 히든 상태의 연결에 대해 학습 가능한 변환을 적용한 후 비선형 활성화를 거치며, 이 과정을 r번 반복하여 히든 표현을 정밀화한다.
• 운반 모듈은 게이트 없이 단순한 순환 구조를 사용하여 최소한의 파라미터 수와 계산 비용을 확보한다.
• 모델은 대규모 ETA 예측 과제에서 DiDi Chuxing의 5억 건 이상의 경로 데이터셋을 기반으로 Adam 옵timizer와 MAPE 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 핵심 시퀀스 특징 추출기는 모듈식 설계로 되어 있어, 공정한 비교를 위해 다른 RNN으로 교체 가능하여 Fusion RNN의 본질적 능력을 평가할 수 있다.
• 융합 반복 횟수(r ∈ [1,5])에 대한 하이퍼파ram터 분석을 수행하여 성능 및 내성에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 게이트나 메모리 셀이 없는 순환 신경망이 시퀀스 모델링에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 입력과 히든 상태의 다중 라운드 융합이 게이팅 메커니즘보다 시퀀스 표현을 어떻게 향상시키는가?
• RQ3 실세계 시공간 데이터에서 효과적인 시퀀스 학습을 위해 최적의 융합 반복 횟수는 얼마인가?
• RQ4 더 단순한 RNN 아키텍처가 실용적 시퀀스 예측 과제에서 복잡한 최신 기술 수준의 모델들인 LSTM과 GRU를 능가하는가?

주요 결과

• Fusion RNN은 베이징 2018 데이터셋에서 MAPE 19.579%를 기록하여, LSTM(19.598%)과 GRU(19.673%)를 MAPE, MAE, RMSE 모두에서 능가한다.
• MAPE 기준으로 LSTM보다 0.09% 향상되었고, MAE는 0.38% 향상되었으며, RMSE는 0.21% 향상되어 더 단순한 아키텍처임에도 불구하고 뛰어난 예측 정확도를 입증한다.
• r=2일 때 Fusion RNN이 최고의 성능을 보이며, 두 번의 융합 라운드가 복잡성과 표현 능력 사이의 최적 균형을 이룬다는 것을 시사한다.
• r의 값이 1에서 5에 이르는 모든 범위에서 Fusion RNN은 경쟁적인 성능 유지를 보이며, 하이퍼파ram터 변화에 대한 강건성을 입증한다.
• 루트-ETA와 같은 비딥러닝 기반 모델보다도 성능이 뛰어나, 복잡한 교통 시스템에서 데이터 기반 학습의 효과성을 확인한다.
• 결과적으로, 명시적 게이팅 메커니즘이 없이도 효과적인 정보 융합이 가능하며, 이는 RNN에서 게이팅의 필요성을 도전하는 것이다.