[論文レビュー] Deep networks for system identification: a Survey

Gianluigi Pillonetto, Aleksandr Y. Aravkin+4 more|arXiv (Cornell University)|Jan 30, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

本調査は、古典的手法と現代のニューラルネットワークを橋渡しする、システム同定のためのディープラーニング手法に関する包括的な概要を提示している。深層構造——例えば順方向、再帰的、および状態空間ネットワーク——が、過パラメータ化されている場合でも、暗黙の正則化や良性過適合（benign overfitting）といった一般化現象のおかげで、入出力データから動的システムを効果的にモデル化できることを示している。

ABSTRACT

Deep learning is a topic of considerable current interest. The availability of massive data collections and powerful software resources has led to an impressive amount of results in many application areas that reveal essential but hidden properties of the observations. System identification learns mathematical descriptions of dynamic systems from input-output data and can thus benefit from the advances of deep neural networks to enrich the possible range of models to choose from. For this reason, we provide a survey of deep learning from a system identification perspective. We cover a wide spectrum of topics to enable researchers to understand the methods, providing rigorous practical and theoretical insights into the benefits and challenges of using them. The main aim of the identified model is to predict new data from previous observations. This can be achieved with different deep learning based modelling techniques and we discuss architectures commonly adopted in the literature, like feedforward, convolutional, and recurrent networks. Their parameters have to be estimated from past data trying to optimize the prediction performance. For this purpose, we discuss a specific set of first-order optimization tools that is emerged as efficient. The survey then draws connections to the well-studied area of kernel-based methods. They control the data fit by regularization terms that penalize models not in line with prior assumptions. We illustrate how to cast them in deep architectures to obtain deep kernel-based methods. The success of deep learning also resulted in surprising empirical observations, like the counter-intuitive behaviour of models with many parameters. We discuss the role of overparameterized models, including their connection to kernels, as well as implicit regularization mechanisms which affect generalization, specifically the interesting phenomena of benign overfitting ...

研究の動機と目的

• 入出力データからの動的システムのモデリングに、ディープニューラルネットワークがどのように機能するかを分析することで、ディープラーニングとシステム同定を結びつけること。
• 過パラメータ化されたディープネットワークをシステム同定に用いる際の理論的・実用的課題、特に一般化と最適化の観点から検討すること。
• ディープラーニング技術を古典的な正則化法やカーネルベースの手法と結びつけ、ディープカーネルモデルが従来の手法をどのように拡張するかを示すこと。
• トランスフォーマー、ノーマライジングフロー、GAN、グラフニューラルネットワークといった現代のアーキテクチャを非線形システム同定に応用する際の未解決問題を特定すること。
• 過パラメータ化の理論的基盤、例えばダブルデセントや良性過適合の観点から、動的システムモデリングにおける一般化行動を説明すること。

提案手法

• システム同定に一般的に用いられるディープニューラルネットワークアーキテクチャ（順方向、畳み込み、再帰的、状態空間ネットワーク）を調査すること。
• 観測データ上の予測誤差を最小化するように、1次最適化法（例：確率的勾配降下法）を用いてディープモデルを学習すること。
• システムの挙動に関する事前仮定を強制する正則化項を組み合わせた、ディープカーネルベースのモデルを定式化すること。
• グリッドサーチと交差検証を用いてハイパーパrameterをチューニングし、学習データおよび検証データ上のモデル性能を評価すること。
• 予測誤差最小化やモデル次数の選択といった古典的手法を、ディープラーニングフレームワークに統合すること。
• 40%のホールドアウト検証セットを用いた実験的評価により一般化を示し、決定係数などの標準指標を用いて適合度を測定すること。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスのシステム同定フレームワークにおいて、どのようにしてディープニューラルネットワークを効果的に動的システムのモデリングに適応できるか？
• RQ2 過パラメータ化と暗黙の正則化が、システム同定におけるディープラーニングモデルの一般化に果たす役割は何か？
• RQ3 ディープカーネルベースの手法は、システム同定における古典的な正則化技術をどのように拡張するか？
• RQ4 トランスフォーマー、ノーマライジングフロー、グラフニューラルネットワークといった現代のディープラーニングアーキテクチャは、非線形システム同定に成功裏に応用可能か？
• RQ5 過パラメータ化されたディープモデルの一般化行動を説明する理論的基盤は何か？

主な発見

• 10万パラメータを超える深層順方向、LSTM、および状態空間モデルは、300件のサンプルしか学習データとして使用しなかったにもかかわらず、検証データ上で良好に一般化され、未学習データに対して高い適合度スコアを達成した。
• 検証セットにおける予測精度において、これらのディープモデルは3次連続線形ベースラインモデルを上回り、限られたデータでも深層構造の強力さを示した。
• 25回のランダムな重み初期化によるボックスプロットの結果、各実験で一貫した性能が得られ、ディープラーニング手法の堅牢性と安定性を示した。
• 実験的結果は、良性過適合やダブルデセントに関する理論的知見を支持しており、データポイント数を上回るパラメータを持つモデルでも、依然として良好に一般化されることを示した。
• 正則化とディープラーニングフレームワークの統合により、モデル次元を低下させることなく、モデルの複雑さを効果的に制御できるようになった。
• トランスフォーマー、ノーマライジングフロー、GAN、グラフニューラルネットワークといった現代のアーキテクチャは、将来的なシステム同定タスクにおいて強い可能性を示しているが、その応用はまだ十分に探求されていない。