[論文レビュー] Tensor Network alternating linear scheme for MIMO Volterra system identification

Kim Batselier, Zhongming Chen+1 more|arXiv (Cornell University)|Jul 1, 2016

Tensor decomposition and applications参考文献 20被引用数 3

ひとこと要約

本稿では、高次 MIMO ボルテラ系の効率的同定のため、2つのテンソルネットワークベースの交互線形スキーム（ALS および MALS）を提案する。ボルテラカーネルをコンactなタッカー型テンソルトレイン（TT）形式で表現することで、次元の呪いを回避する。これらの手法は、SVD および QR を用いた低複雑度の線形解法により、直交的な TT コアを反復的に最適化し、標準の PC で 2 秒未塔に 10 次の MIMO ボルテラモデルを高い精度で、かつ単調収束性を保って同定する。

ABSTRACT

This article introduces two Tensor Network-based iterative algorithms for the identification of high-order discrete-time nonlinear multiple-input multiple-output (MIMO) Volterra systems. The system identification problem is rewritten in terms of a Volterra tensor, which is never explicitly constructed, thus avoiding the curse of dimensionality. It is shown how each iteration of the two identification algorithms involves solving a linear system of low computational complexity. The proposed algorithms are guaranteed to monotonically converge and numerical stability is ensured through the use of orthogonal matrix factorizations. The performance and accuracy of the two identification algorithms are illustrated by numerical experiments, where accurate degree-10 MIMO Volterra models are identified in about 1 second in Matlab on a standard desktop pc.

研究の動機と目的

• 次数が増加するに従い、ストレージと計算量が指数関数的に増加する高次 MIMO ボルテラ系同定における次元の呪いを解消する。
• カノニカル多項式分解およびタッカー分解の限界を克服するため、安定的かつ低ランクな表現が可能なテンソルネットワーク（TN）フレームワークを、テンソルトレイン（TT）に基づいて導入する。
• ボルテラカーネルを入力出力データから TT 形式で同定する 2 つの反復的アルゴリズム（ALS および MALS）を開発する。数値的安定性と単調収束性を保証する。
• 標準のハードウェア上で、高次（最大 10 次）MIMO ボルテラモデルのリアルタイム同定が可能であることを実証し、非線形システムモデリングへの実用的応用を可能にする。

提案手法

• ボルテラテンソルをコンactなテンソルトレイン（TT）形式で表現し、すべてのカーネル係数を低ランクコアテンソルによって暗黙的に格納することで、全テンソルの明示的構築を回避する。
• 交互最小二乗法（ALS）を用い、他のコアを固定した状態で各 TT コアを反復的に最適化する。数値的安定性を確保するため、QR および SVD を用いて小規模な線形系を解く。
• SVD を用いて反復中に TT ランクを適応的に更新する、改良型 ALS（MALS）を導入することで、より良いモデルの複雑さ選択が可能になる。
• 各ステップで QR および SVD 分解を用いて TT コアの直交性を強制することで、数値的安定性を確保し、悪条件化を防ぐ。
• TT 形式における非線形最小二乗最小化問題として同定問題を定式化し、標準的な条件下で収束が保証される。
• 入力出力データにアルゴリズムを適用し、所望の残差許容誤差に達するまで TT コアを更新する。各反復で実行時間と精度をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 テンソルトレイン（TT）のようなテンソルネットワーク形式を用いることで、全テンソルを明示的に構築することなく、高次 MIMO ボルテラカーネルを効果的に表現できるか？
• RQ2 反復的で交互な線形スキーム（ALS/MALS）を設計し、TT 形式で MIMO ボルテラ系を効率的に同定できるか。また、単調収束性と数値的安定性を保証できるか？
• RQ3 標準のハードウェア上で、高次（例：10 次）MIMO ボルテラ系を同定する際、計算速度と精度の観点で、提案手法はどのように性能を発揮するか？
• RQ4 ノイズの影響は同定性能にどのように及ぶか。また、MALS アルゴリズムは、モデルの精度と複雑さのバランスをとるために、TT ランクを適応的に調整できるか？
• RQ5 TT ベースのフレームワークは、10 次の MIMO ボルテラモデルをサブ秒未塔で同定でき、リアルタイムまたはニアリアルタイムのシステム同定を可能にするか？

主な発見

• 提案された ALS および MALS アルゴリズムは、標準のデスクトップPCを用いて、約 1 秒で 10 次の MIMO ボルテラモデルを同定し、極めて高い計算効率を示した。
• ALS 法は、入力 SNR 25 dB の信号において、相対的残差 0.052、シミュレート出力 SNR 37 dB を達成し、ノイズ環境下でも高い忠実度を示した。
• MALS 法は収束速度において ALS を上回り、全 SNR 水準で 1.1～1.3 秒で同定を完了し、シミュレート出力の SNR 向上が一貫して観察された。
• MALS アルゴリズムは TT ランクを動的に適応的に更新し、高ノイズ条件下でランクを増加させるが、データが不足している場合には過学習のリスクがあるため、正則化の導入が求められる。
• 両手法とも、SVD および QR を用いた直交的な TT コアの更新により、単調収束性と数値的安定性を確保し、悪条件化を回避した。
• TT 形式により、ストレージと計算量を指数的 $ (pM)^d $ から $ O(d(pM+1)r^2) $ に削減し、高次 MIMO ボルテラ系における次元の呪いを効果的に克服した。