[논문 리뷰] Recurrent Attentive Neural Process for Sequential Data

Shenghao Qin, Jiacheng Zhu외 3명|arXiv (Cornell University)|2019. 10. 17.

Neural Networks and Applications참고 문헌 33인용 수 23

한 줄 요약

이 논문은 순차적 데이터에서 시간적 순서와 불확실성을 동시에 포착할 수 있도록 주로 순환 신경망(RNN)과 주의 메커니즘을 통합한 새로운 모델인 반복적 주의 신경 프로세스(RANP)를 제안한다. ANP의 불확실성 인식 및 메타학습 능력과 RNN의 순차적 인덕티브 바이어스를 결합함으로써, RANP는 1D 회귀 및 자율주행 차량의 궤적 예측에서 NPs, ANPs, LSTMs를 능가하는 정확도와 예측 불확실성 모델링 성능을 달성한다.

ABSTRACT

Neural processes (NPs) learn stochastic processes and predict the distribution of target output adaptively conditioned on a context set of observed input-output pairs. Furthermore, Attentive Neural Process (ANP) improved the prediction accuracy of NPs by incorporating attention mechanism among contexts and targets. In a number of real-world applications such as robotics, finance, speech, and biology, it is critical to learn the temporal order and recurrent structure from sequential data. However, the capability of NPs capturing these properties is limited due to its permutation invariance instinct. In this paper, we proposed the Recurrent Attentive Neural Process (RANP), or alternatively, Attentive Neural Process-RecurrentNeural Network(ANP-RNN), in which the ANP is incorporated into a recurrent neural network. The proposed model encapsulates both the inductive biases of recurrent neural networks and also the strength of NPs for modelling uncertainty. We demonstrate that RANP can effectively model sequential data and outperforms NPs and LSTMs remarkably in a 1D regression toy example as well as autonomous-driving applications.

연구 동기 및 목표

• 신경 프로세스(NPs)가 본질적으로 순열 불변성(permutation invariance)을 지니고 있어 시간적 순서와 반복적 구조를 포착하지 못하는 한계를 해결하기 위해.
• 기본적인 LSTMs가 순차적 과제에서 시간에 걸쳐 확산되는 불확실성을 모델링하지 못하는 문제를 해결하기 위해.
• NPs의 불확실성 인식 및 메타학습 능력과 RNN의 순차적 모델링 능력을 융합한 통합 프레임워크를 개발하기 위해.
• 실제 응용 분야인 자율주행과 같이 제한된 관측치로부터 연속적이고 시간순서가 정렬된 동역학을 효과적으로 학습하기 위해.
• 복잡한 순차적 데이터를 정확한 예측과 잘 校정된 불확실성 추정치로 모델링하는 데 있어 뛰어난 성능을 입증하기 위해.

제안 방법

• RANP는 순환 신경망 아키텍처 내부에 주의 신경 프로세스(ANP)를 통합하여 ANP-RNN 모델을 구성한다.
• RNN은 순차적 입력을 단계별로 처리하며, 시간적 맥락을 유지하는 은닉 상태를 유지한다.
• 각 시간 단계에서 RNN의 은닉 상태는 ANP의 전역 잠재 변수 $ z $ 를 조건화하는 데 사용되어 불확실성 인식 예측이 가능해진다.
• ANP 구성요소는 주의 메커니즘을 사용하여 맥락-타겟 상호작용을 계산하여 관련 맥락 점들에 대한 동적 가중치를 부여한다.
• 모델는 예측의 평균과 분산을 모두 도출할 수 있도록 음의 로그우도(NLL) 손실을 사용하여 훈련된다.
• RNN과 ANP의 인덕티브 바이어스를 활용하여 새로운 시퀀스에 대해 소수의 맥락 포인트로도 일반화할 수 있도록 메타학습을 지원한다.

실험 결과

연구 질문

• RQ1 신경 프로세스 모델이 시계열 데이터의 시간적 순서와 순차적 의존성을 효과적으로 포착할 수 있는가?
• RQ2 순차적 예측 과제에서 불확실성이 시간에 걸쳐 효과적으로 전파되고 모델링될 수 있는가?
• RQ3 RNN의 인덕티브 바이어스와 ANP의 불확실성 인식 능력을 융합하면 단독 NPs, ANPs, 또는 LSTMs보다 성능 향상이 이루어지는가?
• RQ4 제안된 모델은 제한된 맥락 데이터로 소수의 시퀀스 학습 시나리오에 일반화될 수 있는가?
• RQ5 순환 프레임워크 내부에 주의 메커니즘이 통합될 경우 예측 정확도와 불확실성 교정 성능이 어떻게 향상되는가?

주요 결과

• 1D 함수 회귀 과제에서 RANP는 국소 맥락 행동과 전반적인 함수 형태를 잘 포착하며 잘 校정된 불확실성을 보이며, NP, ANP, LSTM을 모두 능가한다.
• NGSIM 자율주행 데이터셋에서 RANP(ANP-LSTM 변종)는 횡방향 궤적 예측에서 평균 절대 오차(MAE) 0.1673미터를 기록하여 NP(92,778 m)와 ANP(7,024.45 m)보다 유의미하게 낮았다.
• RANP는 음의 로그우도(NLL) -0.0229를 기록하여 잘 校정된 예측 분포를 나타내었으며, NP와 ANP는 매우 높은 NLL(각각 203,882 및 353,693)을 기록했다.
• LSTM은 높은 MSE(1.4500)를 기록하며 부정확한 예측을 하였고, 분산을 예측하지 못해 불확실성을 모델링하지 못했다. 단일 평균 값만 예측하기 때문이다.
• 정성적 분석 결과, RANP의 예측은 실제 궤적을 잘 따라가며, NP와 ANP는 부정확한 불확실성 모델링으로 과신하거나 비정상적인 예측을 하는 것으로 나타났다.
• 모델는 차량 간 복잡한 상호작용 동역학을 차선 변경 시나리오에서 효과적으로 포착하여 실제 순차적 의사결정 과제에서의 강건성을 입증했다.