[논문 리뷰] Nonlinear state-space identification using deep encoder networks

Gerben I. Beintema, Roland Tóth외 1명|arXiv (Cornell University)|2020. 12. 14.

Model Reduction and Neural Networks참고 문헌 30인용 수 4

한 줄 요약

이 논문은 비선형 상태공간 시스템 식별을 향상시키기 위해 데이터를 섹션으로 분할하여 확률적 경사 하강 최적화를 가능하게 하는 딥 인코더 네트워크를 제안한다. 이로 인해 계산 비용이 감소하고 비볼록 손실 곡면이 부드러워지며, 각 섹션의 초기 상태를 이전 입력과 출력 데이터로부터 인코더가 추정함으로써 효율적이고 확장 가능한 학습이 가능해지고, Wiener–Hammerstein 벤치마크에서 알려진 바 가장 낮은 시뮬레이션 오차를 달성한다.

ABSTRACT

Nonlinear state-space identification for dynamical systems is most often performed by minimizing the simulation error to reduce the effect of model errors. This optimization problem becomes computationally expensive for large datasets. Moreover, the problem is also strongly non-convex, often leading to sub-optimal parameter estimates. This paper introduces a method that approximates the simulation loss by splitting the data set into multiple independent sections similar to the multiple shooting method. This splitting operation allows for the use of stochastic gradient optimization methods which scale well with data set size and has a smoothing effect on the non-convex cost function. The main contribution of this paper is the introduction of an encoder function to estimate the initial state at the start of each section. The encoder function estimates the initial states using a feed-forward neural network starting from historical input and output samples. The efficiency and performance of the proposed state-space encoder method is illustrated on two well-known benchmarks where, for instance, the method achieves the lowest known simulation error on the Wiener--Hammerstein benchmark.

연구 동기 및 목표

• 비선형 상태공간 시스템 식별에서 시뮬레이션 오차 최소화의 높은 계산 비용과 비볼록성 문제를 해결한다.
• 대규모 데이터셋에서 성능이 급격히 떨어지고 국소 최소값에 갇히기 쉬운 전통적 방법의 한계를 극복한다.
• 다중 슈팅 기법과 딥 러닝을 융합하여 확장 가능하고 안정적인 최적화 프레임워크를 개발한다.
• 모델 복잡도를 증가시키지 않고도 데이터 섹션 간에 일반화 가능한 初기 상태 추정 방법을 제공한다.
• 표준 비선형 시스템 식별 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 전체 시간 시리즈를 N개의 독립된 섹션으로 나누어 확률적 경사 하강 최적화를 가능하게 한다.
• 이전 입력과 출력 데이터로부터 각 섹션의 시작 시점의 초기 상태를 추정하기 위해 순방향 신경망(인코더)을 사용한다.
• 각 섹션에 대해 다단계 예측 손실을 설정하여 모델과 인코더의 엔드 투 엔드 학습을 가능하게 한다.
• 스토캐스틱 경사 하강법을 사용해 상태공간 모델과 인코더를 동시에 학습함으로써 반복당 계산 비용을 감소시킨다.
• 손실 함수를 부드럽게 하고 수렴 안정성을 향상시키기 위해 다중 슈팅 기법을 적용한다.
• 재최적화 없이도 정확한 상태 초기화를 가능하게 하여 인코더를 통해 미지의 데이터에 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 인코더 네트워크는 최적화 효율성을 향상시키기 위해 비선형 상태공간 모델에서 초기 상태를 효과적으로 추정할 수 있는가?
• RQ2 데이터를 섹션으로 나누고 확률적 경사 하강법을 사용하면 계산 비용은 감소시키면서도 정확도는 유지할 수 있는가?
• RQ3 기존 방법과 비교해 본다면 제안된 방법은 시뮬레이션 오차와 수렴 안정성 측면에서 어떤가?
• RQ4 정확한 상태 초기화를 가능하게 함으로써 인코더는 새로운 데이터에 일반화할 수 있는가?
• RQ5 Wiener–Hammerstein 및 Silverbox와 같은 표준 비선형 시스템 식별 벤치마크에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 Wiener–Hammerstein 벤치마크에서 이전의 딥 러닝 및 시스템 식별 방법들을 모두 능가하는 알려진 바 가장 낮은 시뮬레이션 오차를 달성한다.
• 분할된 데이터를 기반으로 한 확률적 경사 하강 최적화 덕분에 계산 비용이 크게 감소한다.
• 인코더 기반의 초기 상태 추정 방식은 섹션 수가 증가하더라도 모델 복잡도가 증가하지 않는다.
• 학습된 인코더와 함께 다중 슈팅 기법을 적용하면 손실 곡면이 더 부드러워져 최적화 안정성이 향상된다.
• Silverbox 벤치마크에서도 경쟁력 있는 성능을 보이며 이전에 제안된 딥 러닝 방법들을 능가한다.
• 인코더를 통해 입력-출력 역사 데이터로부터 초기 상태를 정확히 예측함으로써 새로운 데이터셋에 대한 일반화가 가능하다.