[論文レビュー] dynoNet: a neural network architecture for learning dynamical systems

Marco Forgione, Dario Piga|arXiv (Cornell University)|Jun 3, 2020

Neural Networks and Applications参考文献 16被引用数 4

ひとこと要約

本稿では、線形時不変（LTI）動的演算子（IIRフィルタとしてパrameter化された有理伝達関数として）を学習可能な層として用いる、異なる可微分ニューラルネットワークアーキテクチャであるdynoNetを提案する。これらのIIRブロックを逆誤差伝搬法でエンドツーエンドに最適化可能にすることで、FIRベースやRNNアーキテクチャと比較してパラメータ数を減らしながらも、システム同定ベンチマークで優れた性能を達成し、電磁機械的および非線形システムデータセットにおいて最先端の結果を示した。

ABSTRACT

This paper introduces a network architecture, called dynoNet, utilizing linear dynamical operators as elementary building blocks. Owing to the dynamical nature of these blocks, dynoNet networks are tailored for sequence modeling and system identification purposes. The back-propagation behavior of the linear dynamical operator with respect to both its parameters and its input sequence is defined. This enables end-to-end training of structured networks containing linear dynamical operators and other differentiable units, exploiting existing deep learning software. Examples show the effectiveness of the proposed approach on well-known system identification benchmarks. Examples show the effectiveness of the proposed approach against well-known system identification benchmarks.

研究の動機と目的

• 時系列データおよび動的システムのモデリングに特化した、可微分かつエンドツーエンド学習可能なニューラルネットワークアーキテクチャの開発。
• 長期間の依存関係を効率的にモデリングできない、標準的な1次元畳み込みおよび再帰的ネットワークの限界の解消。
• 逆誤差伝搬法を介して、線形動的システム（IIRフィルタ）を深層学習フレームワーク内での学習可能なコンponentsとして統合することの実現。
• 実世界のシステム同定ベンチマークにおける、このアーキテクチャの表現力および一般化能力の実証。
• RNNやFIRベースのCNNと比較して、パラメータ数を減らしながらも複雑な動的システムを効率的にモデリングする代替手段としての有効性の提供。

提案手法

• コアとなる構成要素は、有理伝達関数によって定義される可微分線形動的演算子であり、入力系列に対する無限インパルス応答（IIR）フィルタリングを可能にする。
• LTI層の順方向および逆方向処理を閉形式で導出することで、自動微分を用いた効率的な逆誤差伝搬を実現。
• 入力・出力の多重性（MIMO）を持つ柔軟な構造において、LTIブロックと、フィードフォワードネットワーク、活性化関数、多項式などの静的で可微分なコンponentsを統合。
• 標準的なディープラーニングソフトウェア（例：PyTorch）を用いてエンドツーエンドで訓練し、逆モード自動微分を活用。
• LTI層は線形差分方程式に基づく再帰関係として実装されており、時系列データのベクトル化処理を可能にしつつ、順序依存性を保持。
• 再現可能性および既存のDLパイプラインへの統合を支援するため、GitHubリポジトリを通じたソフトウェア実装を提供。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習を可能とする深層学習フレームワークに、可微分IIRフィルタ層を効果的に統合できるか？
• RQ2 パラメータ数を減らしながら、標準的な1次元CNNやRNNと比較して、長期間の時間的依存関係をどれほど効率的にモデリングできるか？
• RQ3 電磁機械的位置決めシステムのような複雑で非線形的かつ限界安定な動的システムに対して、dynoNetはどれほど一般化できるか？
• RQ4 ベンチマークデータセットにおいて、NFIR、NARX、NOBFといった既存のブラックボックスシステム同定モデルを上回れるか？
• RQ5 LTIブロックにおける有理伝達関数の使用は、FIRや再帰的アーキテクチャと比較して、モデルの精度および計算効率にどのように影響するか？

主な発見

• ウィーナ＝ハマークイーン回路ベンチマークでは、test fitが93.2%、RMSEが4.52×10⁻⁵ mmを達成し、NFIR（RMSE = 16.3×10⁻⁵ mm）といった標準的なブラックボックスモデルを上回った。
• ブーツ＝ヴェンヒステリシスベンチマークでは、test fitが95.8%、RMSEが1.28×10⁻⁵ mmを達成し、非線形的かつ記憶依存性を持つシステムにおいて優れた性能を示した。
• 電磁機械的位置決めシステム（EMPS）では、test fitが96.8%、RMSEが2.64×10⁻³ mmを達成し、最良の線形モデル（fit = 25.4%）を著しく上回った。
• すべてのベンチマークで優れたサンプル効率および一般化能力を示し、特に複雑な摩擦および積分的ダイナミクスを有するシステムのモデリングにおいて顕著な優位性を示した。
• IIRフィルタリングにより長期間の依存関係を保持しつつも、RNNよりも計算コストが低く、ベクトル化処理と順序依存性の低減により、効率的な処理が可能となった。
• PyTorchにおけるソフトウェア実装により、既存のディープラーニングワークフローへのシームレスな統合が可能であり、ネットワーク全体の共同最適化を可能にする自動微分をサポート。