[논문 리뷰] Deep networks for system identification: a Survey

Gianluigi Pillonetto, Aleksandr Y. Aravkin외 4명|arXiv (Cornell University)|2023. 01. 30.

Neural Networks and Applications인용 수 5

한 줄 요약

이 종합적 서베이는 시스템 식별을 위한 딥 러닝 기법에 대한 포괄적인 개요를 제시하며, 전통적인 방법과 현대적인 신경망을 연결한다. 이는 피드포워드, 순환, 상태공간 네트워크와 같은 딥 아키텍처가 입력-출력 데이터로부터 동적 시스템을 효과적으로 모델링할 수 있음을 보여주며, 과다 매개변수화된 경우에도 암묵적 정규화와 유익한 과적합과 같은 일반화 현상 덕분이다.

ABSTRACT

Deep learning is a topic of considerable current interest. The availability of massive data collections and powerful software resources has led to an impressive amount of results in many application areas that reveal essential but hidden properties of the observations. System identification learns mathematical descriptions of dynamic systems from input-output data and can thus benefit from the advances of deep neural networks to enrich the possible range of models to choose from. For this reason, we provide a survey of deep learning from a system identification perspective. We cover a wide spectrum of topics to enable researchers to understand the methods, providing rigorous practical and theoretical insights into the benefits and challenges of using them. The main aim of the identified model is to predict new data from previous observations. This can be achieved with different deep learning based modelling techniques and we discuss architectures commonly adopted in the literature, like feedforward, convolutional, and recurrent networks. Their parameters have to be estimated from past data trying to optimize the prediction performance. For this purpose, we discuss a specific set of first-order optimization tools that is emerged as efficient. The survey then draws connections to the well-studied area of kernel-based methods. They control the data fit by regularization terms that penalize models not in line with prior assumptions. We illustrate how to cast them in deep architectures to obtain deep kernel-based methods. The success of deep learning also resulted in surprising empirical observations, like the counter-intuitive behaviour of models with many parameters. We discuss the role of overparameterized models, including their connection to kernels, as well as implicit regularization mechanisms which affect generalization, specifically the interesting phenomena of benign overfitting ...

연구 동기 및 목표

• 입력-출력 데이터로부터 동적 시스템을 모델링할 수 있는 딥 뉴럴 네트워크의 작동 방식을 분석함으로써 딥 러닝과 시스템 식별을 연결한다.
• 과다 매개변수화된 딥 네트워크를 사용할 때의 이론적 및 실용적 과제, 특히 일반화와 최적화 문제를 탐구한다.
• 딥 러닝 기법을 전통적인 정규화 및 커널 기반 방법과 연결하여, 딥 커널 모델이 기존 접근법을 어떻게 확장하는지 보여준다.
• 트랜스포머, 노멀라이징 플로우, GAN, 그래프 신경망과 같은 현대 아키텍처를 비선형 시스템 식별에 적용할 때의 열린 문제를 규명한다.
• 과다 매개변수화의 이론적 기초, 예를 들어 더블 디센트와 유익한 과적합을 동적 시스템의 맥락에서 조사한다.

제안 방법

• 시스템 식별에 널리 사용되는 딥 뉴럴 네트워크 아키텍처(피드포워드, 컨볼루션, 순환, 상태공간 네트워크)를 서베이한다.
• 예측 오차를 최소화하기 위해 관측된 데이터에서 최적화를 위해 일阶 최적화 방법(예: 확률적 경사 하강법)을 적용한다.
• 시스템 행동에 대한 사전 가정을 강제하는 정규화 항을 포함한 딥 아키텍처를 조합하여 딥 커널 기반 모델을 수립한다.
• 하이퍼파ram터 튜닝과 훈련 및 검증 데이터에서의 모델 성능 평가를 위해 그리드 서치와 교차 검증을 사용한다.
• 예측 오차 최소화 및 모델 순서 선택과 같은 전통적 시스템 식별 원칙을 딥 러닝 프레임워크에 통합한다.
• 검증 세트의 40%를 할당하여 실증적 평가를 통해 일반화를 입증하며, 결정 계수와 같은 표준 지표를 통해 적합도를 측정한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 블랙박스 시스템 식별 프레임워크 내에서 어떻게 효과적으로 동적 시스템을 모델링할 수 있는가?
• RQ2 과다 매개변수화와 암묵적 정규화는 시스템 식별을 위한 딥 러닝 모델의 일반화에 어떤 역할을 하는가?
• RQ3 딥 커널 기반 방법은 시스템 식별에서 전통적인 정규화 기법을 어떻게 확장하는가?
• RQ4 트랜스포머, 노멀라이징 플로우, 그래프 신경망과 같은 현대 딥 러닝 아키텍처는 비선형 시스템 식별에 성공적으로 적용될 수 있는가?
• RQ5 과다 매개변수화된 딥 모델이 동적 시스템 모델링에서 일반화 행동을 보이는 데 이론적으로 설명할 수 있는 기초는 무엇인가?

주요 결과

• 10만 개 이상의 매개변수를 가진 딥 피드포워드, LSTM, 상태공간 모델은 오직 300개의 샘플만으로 훈련되었음에도 불구하고 검증 데이터에서 잘 일반화되었으며, 검증 데이터에서 높은 적합도 점수를 기록했다.
• 딥 모델은 검증 세트에서 예측 정확도에서 3차 연속 선형 기준 모델보다 뛰어난 성능을 보였으며, 이는 제한된 데이터로도 딥 아키텍처의 강력함을 입증한다.
• 25번의 무작위 가중치 초기화에서 얻은 박스플롯 결과는 런 간 일관된 성능을 보였으며, 딥 러닝 접근법의 강건성과 안정성을 시사한다.
• 실증 결과는 유익한 과적합과 더블 디센트에 대한 이론적 통찰을 지지하며, 데이터 포인트 수보다 많은 매개변수를 가진 모델이 여전히 잘 일반화됨을 보여준다.
• 정규화와 딥 러닝 프레임워크의 통합은 모델 차원을 줄이지 않으면서도 모델 복잡도를 효과적으로 제어할 수 있음을 보여준다.
• 트랜스포머, 노멀라이징 플로우, GAN, 그래프 신경망과 같은 현대 아키텍처는 향후 시스템 식별 과제에서 강력한 잠재력을 지니고 있으나, 아직 적용이 부족한 상태이다.