[論文レビュー] Tensor network subspace identification of polynomial state space models

Kim Batselier, Ching Yun Ko+1 more|arXiv (Cornell University)|Sep 26, 2017

Tensor decomposition and applications参考文献 10被引用数 3

ひとこと要約

本稿では、多項式状態空間モデルに対するテンソルネットワーク部分空間同定手法を提案する。非線形性は低ランクテンソルネットワークを用いて表現することで次元の呪いを回避する。ブロックハノック行列が部分空間手法において正確に低ランクテンソルネットワークとして表現可能であることを証明し、標準的な行列手法と比較して計算コストと記憶コストを最大20倍まで削減する。ノイズがかかるデータや実世界のデータに対しても頑健な性能を示す。

ABSTRACT

This article introduces a tensor network subspace algorithm for the identification of specific polynomial state space models. The polynomial nonlinearity in the state space model is completely written in terms of a tensor network, thus avoiding the curse of dimensionality. We also prove how the block Hankel data matrices in the subspace method can be exactly represented by low rank tensor networks, reducing the computational and storage complexity significantly. The performance and accuracy of our subspace identification algorithm are illustrated by numerical experiments, showing that our tensor network implementation is around 20 times faster than the standard matrix implementation before the latter fails due to insufficient memory, is robust with respect to noise and can model real-world systems.

研究の動機と目的

• 多項式次数が増加するに従いパラメータ数が指数関数的に増加する多項式状態空間モデルにおける次元の呪いを解消すること。
• テンソルネットワークを用いて、反復的でなく、計算的に効率的な多項式状態空間モデルの同定手法を開発すること。
• メモリ制限や時間制限により標準的手法が失敗する高次元の実世界システムにおいて、ノイズ下でも頑健にシステム同定を可能にすること。
• テンソルネットワーク表現が部分空間手法の中心的役割を果たすブロックハノックデータ行列を正確に捉えられることを実証すること。
• 反復的手法（例：PNLSS）が収束が遅く計算コストが高いために課題となる点を解決するスケーラブルな代替手法を提供すること。

提案手法

• 線形の状態遷移と多変数多項式入力依存性を持つ多項式状態空間モデルを定式化し、テンソルでパrameter化する。
• 関数 f(·) および g(·) をテンソルネットワークを用いて表現することで、指数的パラメータ増加を回避するコンactかつ低ランクの表現を可能にする。
• 入出力データのテンソルネットワーク表現を直接処理できるように、従来の MOESP 部分空間手法を変更する。
• 定理4.1で、部分空間同定におけるブロックハノックデータ行列が正確に低ランクテンソルネットワークとして表現可能であることを証明する。これにより、正確な低ランク圧縮が可能になる。
• テンソルトレインおよびタッカー形式を活用して、効率的な計算と記憶を実現する TNMOESP MATLAB/Octave パッケージにアルゴリズムを実装する。
• 大規模な密行列を明示的に構築せずに、テンソルネットワーク構造を活用して部分空間同定を実行することで、メモリと時間の計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 多項式次数が増加するに従いパラメータ数が指数的に増加する状況において、テンソルネットワークを用いて多項式状態空間モデルを表現可能かどうか。
• RQ2 部分空間同定に用いられるブロックハノックデータ行列を、正確に低ランクテンソルネットワークとして表現可能かどうか。
• RQ3 提案手法であるテンソルネットワーク部分空間法が、標準的な行列ベースの実装と比較して、計算コストおよび記憶コストを顕著に削減できるか。
• RQ4 ノイズがかかる実世界システムにおいて、本手法の性能が PNLSS やボルテラモデルといった反復的手法と比較してどうなるか。
• RQ5 テンソルネットワークに基づくモデルが、非線形システム同定における反復最適化の初期推定値として効果的かどうか。

主な発見

• 標準的な行列ベースの部分空間同定手法がメモリ制限により失敗する前まで、本手法 TNMOESP は約20倍速く動作する。
• 実世界のバルブアンプシステムにおいて、相対的検証誤差が 0.148 に達し、線形状態空間モデル（誤差 0.418）を著しく上回る性能を示す。
• PNLSS ツールボックスを用いて同定した一般多項式状態空間モデルは、より低い誤差（0.087）を達成したが、12,317 秒を要した。これは、精度と計算コストのトレードオフを示している。
• ボルテラモデルは最低の誤差（0.004）を達成しており、実際のシステムが多項式状態空間形式よりもボルテラ構造に近い可能性を示唆している。
• 定理4.1で示されたように、テンソルネットワーク表現により、ブロックハノック行列の正確な低ランク圧縮が可能であり、これが本手法の効率性とスケーラビリティの根拠となっている。
• ノイズに強く、実世界の非線形ダイナミクスを的確にモデル化できることから、合成ベンチマークをはるかに超える実用的妥当性を示している。