[논문 리뷰] Nonlinear Systems Identification Using Deep Dynamic Neural Networks

Olalekan Ogunmolu, Xuejun Gu외 2명|arXiv (Cornell University)|2016. 10. 05.

Neural Networks and Applications참고 문헌 18인용 수 106

한 줄 요약

본 논문은 비선형 동역학 시스템을 모델링하기 위한 심층 동적 신경망을 연구하고, SISO/MIMO 데이터셋(soft-robot 및 DaISy glass furnace)에서 다층, 순환, LSTM, GRU 및 Hammerstein 스타일 아키텍처를 평가하여 식별 성능과 학습 효율성을 평가한다.

ABSTRACT

Neural networks are known to be effective function approximators. Recently, deep neural networks have proven to be very effective in pattern recognition, classification tasks and human-level control to model highly nonlinear realworld systems. This paper investigates the effectiveness of deep neural networks in the modeling of dynamical systems with complex behavior. Three deep neural network structures are trained on sequential data, and we investigate the effectiveness of these networks in modeling associated characteristics of the underlying dynamical systems. We carry out similar evaluations on select publicly available system identification datasets. We demonstrate that deep neural networks are effective model estimators from input-output data

연구 동기 및 목표

• 시퀀스 데이터에 대한 보편적 함수 근사기로서 심층 네트워크를 활용한 비선형 시스템 식별의 동기를 부여한다.
• 동적 시스템 모델링을 위해 다중 심층 구조(MLP, RNN, LSTM, GRU)를 평가한다.
• soft-robot 실험 및 DaISy 벤치마크에서의 SISO 및 MIMO 데이터셋에 대한 성능, 학습 시간 및 강건성을 평가한다.

제안 방법

• 평균제곱오차 손실로 입력을 출력에 매핑하도록 심층 네트워크를 학습하기 위해 감독 학습을 사용한다.
• 연속 데이터에서 순방향 MLP, 단순 RNN, LSTM 변형, Fast LSTM, GRU 아키텍처를 비교한다.
• 비선형 정적 블록과 선형 동적 블록을 결합한 Hammerstein 스타일 모델을 채택한다.
• 배치 정규화를 사용하지 않고 반복 모델에 드롭아웃을 적용하여 과적합을 방지한다.
• RNN/LSTM/GRU 업데이트 및 Hammerstein 구조에 대한 아키텍처별 방정식을 제시한다.
• 각 모델 및 데이터셋에 대한 추정 적합도와 MSE, 함께 훈련 시간도 보고한다.

실험 결과

연구 질문

• RQ1 깊은 동적 신경망이 SISO 및 MIMO 데이터셋에 걸쳐 입력-출력 데이터로부터 비선형 동역학 시스템을 정확하게 식별할 수 있는가?
• RQ2 어떤 신경망 아키텍처(MLP, RNN, LSTM 변형, GRU, Hammerstein)가 동적 시스템 식별에서 적합도와 학습 효율성의 균형을 이룰 수 있는가?
• RQ3 전처리 없이 실제 데이터세트(방사선치료에서의 soft-robot 머리 움직임 및 글래스 퍼니스 온도 센싱)에서 서로 다른 아키텍처가 어떻게 성능을 발휘하는가?
• RQ4 Hammerstein 스타일의 심층 모델이 입력-상태 지연 및 장거리 매핑을 포착하는 데 이점을 제공하는가?

주요 결과

모델	추정 적합도 (%)	학습 시간 (s)	MSE
MLP	99.8471	422	113.1052
RNN	99.8448	1191	101.3624
LSTM	99.5144	876	382.6935
FastLSTM	99.4795	881	374.5386
GRU	99.835	884	117.0274
MLP	99.9905	462.64	0.015433
RNN	98.8052	726	0.245833
LSTM	57.1	4163.18	3.216
FastLSTM	91.2822	3310.56	0.689027
GRU	?	?	?

• MLP 및 순환 아키텍처는 Soft-Robot 및 DaISy 데이터 세트에서 매우 높은 추정 적합도를 달성하며, MLP가 테스트된 모델 중 가장 빠른 학습 시간을 기록했다.
• Soft-Robot: MLP 99.8471% fit, 422s training, 113.1052 MSE; RNN 99.8448% fit, 1191s, 101.3624 MSE; LSTM 99.5144% fit, 876s, 382.6935 MSE; FastLSTM 99.4795% fit, 881s, 374.5386 MSE; GRU 99.835% fit, 884s, 117.0274 MSE.
• GlassFurnace (DaIsY): MLP 99.9905% fit, 462.64s, 0.015433 MSE; RNN 98.8052% fit, 726s, 0.245833 MSE; LSTM 57.1% fit, 4163.18s, 3.216 MSE; FastLSTM 91.2822% fit, 3310.56s, 0.689027 MSE.
• Hammerstein-style RNN/MLP models with 5-step backpropagation through time perform well and capture system dynamics efficiently compared to pure forward networks.
• LSTM-based Hammerstein and GRU-based Hammerstein variants provide strong modeling capability for temporal dependencies, with training time trade-offs.
• Results suggest deep dynamic NNs are effective, scalable alternatives to hand-crafted nonlinear system identification approaches