[논문 리뷰] Short note on the behavior of recurrent neural network for noisy dynamical system

Kyongmin Yeo|arXiv (Cornell University)|2019. 04. 05.

Model Reduction and Neural Networks참고 문헌 9인용 수 13

한 줄 요약

이 연구는 Long Short-Term Memory (LSTM) 네트워크가 노이즈가 있는 동적 시스템, 특히 Mackey-Glass 시계열을 어떻게 학습하는지 조사한다. 훈련 시 노이즈가 증가함에 따라 LSTMs는 입력 데이터에 의존하는 것에서 내부 자율 동역학에 더 의존하게 되며, 입력 편향에 더 강건해지지만 적응 속도는 느려지고, 더 긴 회복 timescale를 가지게 된다.

ABSTRACT

The behavior of recurrent neural network for the data-driven simulation of noisy dynamical systems is studied by training a set of Long Short-Term Memory Networks (LSTM) on the Mackey-Glass time series with a wide range of noise level. It is found that, as the training noise becomes larger, LSTM learns to depend more on its autonomous dynamics than the noisy input data. As a result, LSTM trained on noisy data becomes less susceptible to the perturbation in the data, but has a longer relaxation timescale. On the other hand, when trained on noiseless data, LSTM becomes extremely sensitive to a small perturbation, but is able to adjusts to the changes in the input data.

연구 동기 및 목표

• 재귀 신경망(RNNs)이 동적 시스템 내에서 노이즈가 있는 시계열 데이터를 어떻게 처리하는지 이해한다.
• 입력 편향에 대한 강건성과 입력 데이터 변화에 대한 반응성 사이의 상충 관계를 조사한다.
• 다양한 노이즈 수준에서 입력 데이터와 내부 상태 동역학 간 기여도의 이동을 분석한다.
• 편향 후 LSTM 예측의 회복 timescale를 정량화하여 동적 안정성을 평가한다.
• 딥 러닝에서 훈련 시 노이즈 주입이 모델의 강건성 향상에 기여하는 이유에 대한 경험적 통찰을 제공한다.

제안 방법

• Mackey-Glass 시계열에 대해 일곱 가지 노이즈 수준(σ ∈ {0, 0.02, 0.04, 0.08, 0.16, 0.32, 0.64})으로 별도의 LSTM 네트워크를 훈련한다.
• 표준 LSTM 아키텍처를 사용하며, 128개의 메모리 셀과 ADAM 최적화를 적용하여 순차적 예측의 평균 제곱 오차를 최소화한다.
• 입력 데이터를 [−0.5, 0.5]로 정규화하고, 평가를 위해 출력을 원래 단위로 스케일링한다.
• 가중 입력의 ℓ₁-노름을 통해 입력 데이터(yₜ)와 은닉 상태(hₜ)가 LSTM 입력에 기여하는 상대적 기여도를 측정한다.
• 자극 입력 후 오차 감쇠의 적분을 통해 회복 timescale λ를 정의하고 계산한다.
• 다양한 노이즈 수준과 편향 조건에서 정규화된 평균 제곱근 오차(NRMSE)를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 노이즈 수준이 증가할수록 LSTM이 입력 관측치에 의존하는 정도와 내부 동역학에 의존하는 정도에 어떤 영향을 미치는가?
• RQ2 훈련 노이즈 수준과 LSTM의 입력 편향에 대한 강건성 간의 관계는 무엇인가?
• RQ3 훈련 노이즈 수준 증가에 따라 LSTM 예측의 회복 timescale는 어떻게 변화하는가?
• RQ4 노이즈 없는 데이터로 훈련된 LSTM이 작은 입력 편향에 매우 민감한 이유는 무엇인가?
• RQ5 훈련 중 노이즈 주입이 시계열 모델링에서 일반화 능력과 강건성 향상에 얼마나 기여하는가?

주요 결과

• 훈련 시 노이즈 수준이 증가함에 따라 LSTMs는 노이즈가 많은 입력 데이터에 대한 의존도를 감소시키고 내부 자율 동역학에 점점 더 의존하게 된다.
• σ = 0.64로 훈련된 LSTM은 자극 후 초기 편차(e₀)가 σ = 0 모델 대비 2.8배 감소하여 강건성이 향상됨을 나타낸다.
• 훈련 노이즈가 증가할수록 회복 timescale λ가 증가한다: σ = 0.64일 경우 λ ≈ 25–30 δt, σ = 0.02일 경우 λ ≈ 20 δt로, 편향 회복 속도가 느려진다.
• σ = 0.64 모델의 NRMSE는 σ = 0일 때 0.050에서 σ = 0.64일 때 0.141로 증가할 뿐이지, 노이즈 데이터에서 성능 저하가 거의 없음을 보여준다.
• 반대로, σ = 0 모델은 NRMSE가 0.268이었고, σ = 0.02 노이즈 조건에서 0.658로 크게 악화되어 민감도가 높음을 보여준다.
• 노이즈가 있는 데이터로 훈련된 모델(σ = 0.64)은 낮은 수준에서 높은 수준까지의 노이즈 수준에서 안정적인 성능을 유지하지만, 노이즈 없는 모델은 노이즈가 있는 입력에서 실패한다.