[論文レビュー] Tensor Networks for Probabilistic Sequence Modeling

Jacob Miller, Guillaume Rabusseau+1 more|arXiv (Cornell University)|Mar 2, 2020

Tensor decomposition and applications参考文献 42被引用数 5

ひとこと要約

この論文は、テンソルネットワーク構造を活用してO(log n)深度の並列評価と、任意の正規表現に条件づけられた新しい再帰的サンプリングアルゴリズムを備えた、確率的シーケンスモデリングのための均一な行列積状態（u-MPS）モデルを導入する。この手法は、限られたデータにおけるシーケンスタスクで最先端の一般化性能を達成し、構造化された生成と正則化の新しい形を可能にする。

ABSTRACT

Tensor networks are a powerful modeling framework developed for computational many-body physics, which have only recently been applied within machine learning. In this work we utilize a uniform matrix product state (u-MPS) model for probabilistic modeling of sequence data. We first show that u-MPS enable sequence-level parallelism, with length-n sequences able to be evaluated in depth O(log n). We then introduce a novel generative algorithm giving trained u-MPS the ability to efficiently sample from a wide variety of conditional distributions, each one defined by a regular expression. Special cases of this algorithm correspond to autoregressive and fill-in-the-blank sampling, but more complex regular expressions permit the generation of richly structured data in a manner that has no direct analogue in neural generative models. Experiments on sequence modeling with synthetic and real text data show u-MPS outperforming a variety of baselines and effectively generalizing their predictions in the presence of limited data.

研究の動機と目的

• 非線形活性化関数を回避するテンソルネットワークに基づく微分可能で、微分可能なシーケンスモデルの開発。
• u-MPSを用いて長大なシーケンスの高度な並列評価を実現し、O(log n)深度の評価を達成すること。
• 任意の正規表現に条件づけられたシーケンスを生成する再帰的サンプリングアルゴリズムの設計。これは、自己回帰的生成や穴埋め生成をはるかに超えるものである。
• 正規表現制約によるパターンマッチングの罰則または促進を組み込んだ、シーケンスモデリングにおける新しい正則化技術の探求。
• 合成および実世界のテキストデータセットにおいて、優れた一般化性能と構造化された生成能力を示すこと。

提案手法

• モデルは非線形活性化関数を一切使用せず、乗法的テンソル相互作用に依存する、均一な行列積状態（u-MPS）を微分可能なシーケンスモデルとして用いる。
• u-MPSは、シーケンスデータ上でAdam最適化手法を用いた勾配降下法により、負の対数尤度損失を最小化することで学習される。
• 独自の再帰的サンプリングアルゴリズムであるREGSAMPは、正規表現Rに条件づけられたu-MPS分布からの不偏サンプルを生成する。これは、Rを部分表現に再帰的に分解し、それらの対応する転送演算子からサンプリングすることで実現される。
• u-MPSの転送演算子と正規表現構造との間の対応関係を活用することで、たとえばΣ*tΣ*やR1|R2のような複雑な正規表現パターンに対しても、効率的なサンプリングが可能になる。
• トレーニング目的関数を変更することで、特定の正規表現と一致するシーケンスを好むか、罰則を科えることで、バイアス低減やコード生成などの応用が可能になる正則化をサポートする。
• JAXのJITコンパイルを活用して、一般用途の再帰的正規表現サンプリング実装の計算オーバーヘッドを低減している。

実験結果

リサーチクエスチョン

• RQ1 u-MPSモデルは長大なシーケンスの効率的な並列評価を達成できるか？ その評価の理論的深度複雑度は何か？
• RQ2 u-MPSモデルは任意の正規表現に条件づけられたシーケンスを生成できるか？ これは、標準的な自己回帰的または穴埋め生成をはるかに超える一般化を達成するか？
• RQ3 限られたデータで学習した場合、u-MPSモデルは長大なシーケンスに対してどのように一般化するか？ 特に非局所的相関に対しては？
• RQ4 正規表現条件付きサンプリングと正則化は、メールアドレス生成やバイアス低減といった実世界のテキスト生成タスクに効果的に適用できるか？
• RQ5 さまざまな正規表現構造に対して、再帰的サンプリングアルゴリズムの計算およびメモリ効率はどの程度か？

主な発見

• u-MPSモデルは長さnのシーケンスをO(log n)の深度で評価でき、これは標準的なRNNとは対照的に、高度な並列推論およびトレーニングを可能にする。
• 再帰的サンプリングアルゴリズムであるREGSAMPは、任意の正規表現Rに条件づけられた不偏サンプルを効率的に生成でき、複雑なパターン（たとえばΣ*tΣ*やR1|R2）に対しても、実行時間O(L_R d D^3)、メモリO(L_R D^2)の複雑度で動作する。
• 合成Tomita文法データセットでは、u-MPSモデルはLSTMやTransformerを上回り、特に限られた学習データ（1,000対10,000文字列）の下で、サンプリングおよび文字列補完タスクの両方で優れた性能を示した。
• モデルは、トレーニングシーケンス長を越えて非局所的相関（たとえばパリティ制約やバランス制約）を一般化し、強いインダクティブバイアスを示した。
• 実世界のメールアドレス生成タスクでは、u-MPSモデルは、R_e = [\w-.]+@([\w-]+.)*[\w-][\w-]+という正規表現に基づく評価で、無条件サンプリングの文字列の98.7％が正しく特定された。
• JAXのJITコンパイルの活用により、一般用途の正規表現サンプリングアルゴリズムのオーバーヘッドが低減され、実世界でのデプロイメントが現実的になった。