[論文レビュー] Decoupling multivariate functions using a nonparametric filtered tensor decomposition

Jan Decuyper, Koen Tiels+3 more|arXiv (Cornell University)|May 23, 2022

Tensor decomposition and applications参考文献 32被引用数 5

ひとこと要約

本稿では、1次微分情報を利用し、多次元非線形関数を1変数の枝に分解する非パrametricなフィルタードテンソル分解（FTD）手法を提案する。ヤコビ行列テンソルにFTDを適用することで、複雑な非線形性の効率的で解釈可能かつパラメータ削減型の表現が可能となり、非線形システム同定および機械学習の分野で、最大50%のモデル削減と、可視化された1変数関数による解釈性の向上が実証された。

ABSTRACT

Multivariate functions emerge naturally in a wide variety of data-driven models. Popular choices are expressions in the form of basis expansions or neural networks. While highly effective, the resulting functions tend to be hard to interpret, in part because of the large number of required parameters. Decoupling techniques aim at providing an alternative representation of the nonlinearity. The so-called decoupled form is often a more efficient parameterisation of the relationship while being highly structured, favouring interpretability. In this work two new algorithms, based on filtered tensor decompositions of first order derivative information are introduced. The method returns nonparametric estimates of smooth decoupled functions. Direct applications are found in, i.a. the fields of nonlinear system identification and machine learning.

研究の動機と目的

• ニューラルネットワークや基底展開などのデータ駆動型多次元非線形モデルにおける解釈性の欠如と高いパラメータ数の問題に対処すること。
• 1次微分情報を利用し、結合された非線形関数を後処理によって分離・構造化された形に変換する技術を開発すること。
• 従来のテンソルベースの手法の範囲外であった単出力系を扱えるように、既存の分離手法を拡張すること。
• 事前に固定された関数形を仮定せずに、非パラメトリックに1変数非線形枝を推定できること。
• 性能を維持しつつ解釈性を向上させるために、可視化された非線形性を活用したモデル削減戦略を提供すること。

提案手法

• 本手法は、複数の入力点で評価された1次微分情報（ヤコビ行列）を用いて、3階テンソル（ヤコビ行列テンソル）を構築する。
• このテンソルにフィルタードテンソル分解（FTD）を適用し、潜在的な分離構造を明らかにする低ランク近似を抽出する。
• FTDアルゴリズムは、ヤコビ行列の三重線形構造を活用して、同時に対角化を実行し、変換行列Vと1変数関数の枝を同定する。
• 分離形は f(p) = W g(V^T p) で表され、gはスムージング手法を用いて非パラメトリックに推定された1変数関数を意味する。
• 本手法は非パラメトリックである：枝にパラメトリックな関数族を仮定しない。代わりに、カーネルスムージングなどの手法を用いてデータから直接推定する。
• 初期の結合関数からのバイアスを低減するために、入力出力データを用いた後処理最適化を実施し、分離モデルを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 1次微分情報のフィルタードテンソル分解が、多次元非線形関数を1変数成分に効果的に分離できるか？
• RQ2 提案手法が、標準モデルと比較して予測性能を維持または向上させつつ顕著なモデル削減を達成できるか？
• RQ3 分離された表現が、個々の非線形枝の可視化を通じて解釈性を向上させられるか？
• RQ4 従来のテンソルベース分離手法の範囲外であった単出力系にも、本手法を拡張可能か？
• RQ5 後処理最適化が、分離モデルの精度をどの程度向上させるか？

主な発見

• 提案されたFTDベースの分離手法は、非線形NARXモデルにおいて、パラメータ数を55から30に50%削減した一方で、同等のテストセット性能（1.78%の誤差）を維持した。
• r = 3の分離モデルでは、2つの枝に顕著な3次関係が、残りの1つの枝に線形関係が確認され、線形および3次剛性を含む既知の物理的システムと整合した。
• 本手法は単出力NARXモデルの分離に成功し、テンソルベース分離手法の適用範囲を多出力系に限らず拡張した。
• 分離モデルの後処理最適化によりバイアスが低減され、一般化性能が向上した。これは、非線形精緻化の初期化として分離形を用いる価値を示している。
• 分離表現により、非線形関数の明確な可視化が可能となり、システムダイナミクスの物理的解釈が得られた。
• [12]で提示された競合手法と比較して、本手法はモデルの簡潔性と解釈性に優れ、同等またはより良いテストセット性能を示した。