[論文レビュー] Tensor network approaches for learning non-linear dynamical laws

Alex Goeßmann, Michael Götte+4 more|arXiv (Cornell University)|Feb 27, 2020

Model Reduction and Neural Networks参考文献 25被引用数 11

ひとこと要約

本稿では、低ランクテンソルトレイン（TT）および選択テンソルパラメータライゼーションを用いて局所性やスケーラビリティなどの物理的制約を強制することで、データから非線形力学的法則を学習するテンソルネットワークベースの手法を提案する。本手法は、最適なテンソルランクを自動的に特定するランク適応最適化アルゴリズム（SALSA）を導入し、構造や複雑さに関する事前知識がなくても、高次元系において効率的かつ解釈可能な支配方程式の回復を可能にする。

ABSTRACT

Given observations of a physical system, identifying the underlying non-linear governing equation is a fundamental task, necessary both for gaining understanding and generating deterministic future predictions. Of most practical relevance are automated approaches to theory building that scale efficiently for complex systems with many degrees of freedom. To date, available scalable methods aim at a data-driven interpolation, without exploiting or offering insight into fundamental underlying physical principles, such as locality of interactions. In this work, we show that various physical constraints can be captured via tensor network based parameterizations for the governing equation, which naturally ensures scalability. In addition to providing analytic results motivating the use of such models for realistic physical systems, we demonstrate that efficient rank-adaptive optimization algorithms can be used to learn optimal tensor network models without requiring a~priori knowledge of the exact tensor ranks. As such, we provide a physics-informed approach to recovering structured dynamical laws from data, which adaptively balances the need for expressivity and scalability.

研究の動機と目的

• 高次元物理系の観測データから解釈可能な非線形支配方程式を同定する課題に対処すること。
• SINDy や記号的回帰といった従来手法の次元の呪いを、テンソルネットワークのパラメータライゼーションを活用することで克服すること。
• 局所性や相互作用のスパarsityといった物理的制約を尊重するスケーラブルで物理的制約を反映した機械学習フレームワークを構築すること。
• 最適化中にモデルの表現力と計算効率のバランスを保つために、自動的かつ適応的なランク選択を可能にすること。
• 構造的かつ解釈可能な力学的法則を回復するデータ駆動型アプローチを提供すること、単なる補間ではなく、物理的構造の同定を目的とする。

提案手法

• 局所性やスパarsityといった物理的制約を符号化するため、テンソルトレイン（TT）または選択テンソル形式を用いて支配方程式をテンソルネットワークとしてパラメータライズする。
• 動的テンソルランクを最適化する安定化逐次最小二乗法（SALSA）アルゴリズムを採用し、トレーニング中にランクを動的に調整する。
• 最適化プロセスにおける勾配計算と局所線形系の解法を効率的に行うためにスタックを用い、メモリ使用量と計算コストのバランスを取る。
• 一変数基底関数の辞書を関数空間として表現し、全多変数関数を低ランクテンソルの畳み込みとして符号化する。
• モデルの複雑さを制御し、過学習を回避するために、適応的しきい値（ε）と重み減衰（ω）を用いたスパarsity促進正則化を適用する。
• モデルの学習には残差最小化目的関数 ‖Φθ − y‖_F を用い、各テンソルコアに対して反復的に更新を行う。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークのパラメータライゼーションは、高次元力学系における局所性やスパarsityといった物理的制約を効果的に符号化できるか？
• RQ2 SALSA のようなランク適応最適化アルゴリズムは、事前の知識なしに最適なテンソルランクを自動的に特定できるか？
• RQ3 提案手法は、多くの自由度を持つ系に対しても次元の呪いを回避しながら、効率的にスケーリングできるか？
• RQ4 標準的な SINDy や記号的回帰と比較して、解釈可能で構造的な力学的法則をどれほど正確に回復できるか？
• RQ5 ノイズが多いまたは限られたデータに対しても、解釈可能性と正確性を維持しながら一般化できるか？

主な発見

• 選択テンソル形式は、次元数に応じて良好なスケーリングを示すように、テンソルランクの上限を保証するが、単一の TT 形式では大規模な d に対してスケーリングが著しく劣る。
• SALSA アルゴリズムはトレーニング中に最適なテンソルランクを効果的に学習できており、単一の TT 形式では変数数 d に対してランクが線形に増加することが確認された。
• ベンチマーク例を通じて、高次元系でさえも非線形力学的法則の正確な回復が達成された。
• スタックの使用により計算コストが低減され、大規模問題に対しても効率的な勾配計算が可能になった。
• 特に自由度の多い系において、標準的な SINDy や記号的回帰よりもスケーラビリティと解釈可能性の面で優れている。
• 残差 R(θ) は最適化中に単調に減少し、適応的しきい値戦略（ε_new = s_min * R(θ)）により安定した収束が達成された。