[論文レビュー] Shortcut Matrix Product States and its applications

Zhuan Li, Pan Zhang|arXiv (Cornell University)|Dec 13, 2018

Tensor decomposition and applications参考文献 25被引用数 6

ひとこと要約

本稿では、標準的な行列積状態（MPS）の相関の指数的減衰という根本的限界を克服するため、遠く離れたテンソル同士を結ぶ長距離ショートカット接続を追加した、新しいテンソルネットワークアーキテクチャ「ショートカット行列積状態（SMPS）」を提案する。相関解析に基づいてショートカットを戦略的に配置することで、高次元データにおける長距離相関のモデリングが著しく向上し、関数フィッティング、イジング模型の分配関数計算、MNIST画像の生成モデル化において、通常のMPSに比べて優れた性能を達成する。

ABSTRACT

Matrix Product States (MPS), also known as Tensor Train (TT) decomposition in mathematics, has been proposed originally for describing an (especially one-dimensional) quantum system, and recently has found applications in various applications such as compressing high-dimensional data, supervised kernel linear classifier, and unsupervised generative modeling. However, when applied to systems which are not defined on one-dimensional lattices, a serious drawback of the MPS is the exponential decay of the correlations, which limits its power in capturing long-range dependences among variables in the system. To alleviate this problem, we propose to introduce long-range interactions, which act as shortcuts, to MPS, resulting in a new model extit{ Shortcut Matrix Product States} (SMPS). When chosen properly, the shortcuts can decrease significantly the correlation length of the MPS, while preserving the computational efficiency. We develop efficient training methods of SMPS for various tasks, establish some of their mathematical properties, and show how to find a good location to add shortcuts. Finally, using extensive numerical experiments we evaluate its performance in a variety of applications, including function fitting, partition function calculation of $2-$d Ising model, and unsupervised generative modeling of handwritten digits, to illustrate its advantages over vanilla matrix product states.

研究の動機と目的

• 行列積状態（MPS）が示す指数的減衰に起因する長距離相関の捉えにくさという根本的限界に対処すること。
• 長距離相関を保持しつつ計算の tractability を維持できるスケーラブルで効率的なテンソルネットワークの変種を開発すること。
• 相関の保存を最大化するように最適なショートカット配置を系統的に選択する手法を提供すること。
• 関数フィッティング、統計物理学、教師なし生成モデル化など多様な応用分野においてSMPSの有効性を実証すること。
• SMPSの理論的・アルゴリズム的基盤を確立すること、特に分解および学習手順を含む。

提案手法

• MPSチェーン内の非隣接テンソル同士を接続するショートカットテンソルを導入し、長距離もつれや相関伝播を可能にする。
• ベースとなるMPSの相関解析を用いて、ショートカット挿入に最適な場所を特定し、内在的相関が弱い領域に焦点を当てる。
• ショートカットに起因する経路を考慮した、変更を加えたテンソルネットワーク縮約アルゴリズムを開発し、計算効率を維持する。
• 生成モデル化における負の対数尤度やイジング模型シミュレーションにおけるエネルギー誤差といった、アプリケーション固有の損失関数を用いて、勾配ベースの学習を実装する。
• ショートカットによる canonical 條件の破壊に対応するため、SMPSに適応した canonical 形式の技術を修正して適用する。
• 連続的な特異値分解（SVD）に基づく分解戦略を用いて、生の高次元テンソルからSMPSを初期化および学習する。

実験結果

リサーチクエスチョン

• RQ1 MPSにショートカットをどの位置に配置すれば、相関減衰を最も効果的に低減し、モデル性能を向上させられるか？
• RQ2 画像や2次元スピン系といった1次元でない系において、SMPSは標準MPSに比べて長距離相関の表現力が向上するか？
• RQ3 ショートカットの導入が、テンソルネットワークモデルの計算複雑性および学習効率にどのように影響するか？
• RQ4 SMPSは、MNISTにおける複数の数字クラスといった複雑なデータ構造を、サブ-MPSコンポーネントによってどれほど正確に捉え復元できるか？
• RQ5 統計力学的モデル（2次元イジング模型など）において、SMPSは自由エネルギー、比熱といった物理的観測量をより正確に推定できるか？

主な発見

• SMPSは相関長を著しく向上させ、特に画像のような2次元データにおいて、標準MPSが表現できない長距離相関を捉えることができる。
• ベースMPSからの相関マップを用いることで、ショートカットの配置が効果的に可能となり、例えば数字画像の反対側の隅など、内在的相関が弱い領域に最適な配置が得られる。
• MNIST画像の教師なし生成モデル化において、SMPSはMPSよりも低い負の対数尤度を達成し、データ分布および相関のより良い捉えを示している。
• 2次元イジング模型のシミュレーションでは、SMPSは自由エネルギー、エネルギー、比熱の推定値をMPSよりも正確に得ており、正確な結果に近づいている。
• SMPSは複数のサブ-MPSコンポーネントに分解可能であり、それぞれが特定のデータパターン（例：特定の数字クラス）を捉えていることから、複雑でマルチモーダルなデータの表現能力を示している。
• 性能向上にもかかわらず、ショートカットの存在により canonical 形式が破られ、特に2サイト更新の際、正規化や分配関数計算の計算コストが増加する。