[論文レビュー] Generative modeling with projected entangled-pair states

Tom Vieijra, Laurens Vanderstraeten+1 more|arXiv (Cornell University)|Feb 16, 2022

Neural Networks and Applications被引用数 9

ひとこと要約

本稿では、画像などの2次元データセットの生成的モデリングに、投影エンタングルドペア状態（PEPS）を提案する。PEPSは内在的な2次元構造を活かして空間相関を効率的に捉える。この手法は、対数尤度最大化に基づく直接サンプリングアルゴリズムを用いてPEPS波動関数を最適化し、低結合次元でもMNISTで最先端の負の対数尤度スコアを達成しており、行列積状態（MPS）や木テンソルネットワーク（TTN）を上回っている。

ABSTRACT

We argue and demonstrate that projected entangled-pair states (PEPS) outperform matrix product states significantly for the task of generative modeling of datasets with an intrinsic two-dimensional structure such as images. Our approach builds on a recently introduced algorithm for sampling PEPS, which allows for the efficient optimization and sampling of the distributions.

研究の動機と目的

• 1次元テンソルネットワーク（MPS）が2次元データ（画像など）をモデリングする際の限界を克服すること。
• 自然に空間相関を符号化するPEPSを用いて、2次元データセットの効率的生成的モデリングを可能にすること。
• 対数尤度最大化に基づく直接サンプリングアルゴリズムを考案・適用し、PEPS波動関数の最適化を実現すること。
• PEPSが1サイトあたりのパラメータ数が少ないにもかかわらず、MPS や TTN よりも一般化性能に優れていることを示すこと。
• ブロック対角テンソル分解を用いたPEPSの潜在的非教師分類への応用可能性を検討すること。

提案手法

• 局所的エネルギーに基づくモデルをPEPS波動関数に再定式化し、ボルツマン分布を表現する。
• 訓練データの対数尤度を最大化するように、直接サンプリングアルゴリズムを用いてPEPSテンソルネットワークのパラメータを最適化する。
• PEPS波動関数の振幅の二乗から確率分布を構築し、効率的なサンプリングと最適化を保証する。
• 正確に解けるケース（バーとストライプ）と実世界のデータセット（バイナリ化MNIST）の両方へ適用する。
• PEPSのマルチモーダル分解を用いてブロック対角構造を同定し、潜在的な非教師分類を可能にする。
• 結合次元Dを段階的に増加させながらPEPSを最適化し、一般化と過学習の挙動を調査する。

実験結果

リサーチクエスチョン

• RQ1 PEPSは、MPS や TTN と比較して、2次元画像データの生成的モデリングにおいて優れているか？
• RQ2 PEPSの2次元構造は、1次元手法と比較して空間相関をどのように改善して捉えているか？
• RQ3 結合次元が低いにもかかわらず、PEPSモデルはMPSよりも一般化性能に優れており、過学習を回避できるか？
• RQ4 PEPS波動関数のマルチモーダル構造は、データの非教師分類に利用可能か？
• RQ5 画像データセットにおけるPEPSの負の対数尤度は、結合次元の増加に伴いどのようにスケーリングするか？

主な発見

• 結合次元D=4で、バイナリ化MNISTテストセットにおいて負の対数尤度91.2を達成。これはMPS（101.5）、1次元TTN（96.9）、2次元TTN（94.3）を上回る。
• 結合次元D=4、10モードで1サイトあたり5,120パラメータのPEPSは、1サイトあたり20,000パラメータ（D=100）を有するMPSを上回る対数尤度を達成している。
• MPSとは異なり、過学習の兆候が一切認められない。D > N_data の場合、MPSは過剰な記憶により過学習を示す。
• 結合次元の増加に伴い対数尤度が一貫して向上するため、データ分布の効率的パラメータ化が可能であることが示され、良好な一般化性能が得られている。
• 最適化されたPEPS分布から生成されたサンプルは、現実的な画像構造を示しており、強力な生成能力を示している。
• PEPS波動関数のブロック対角分解から、元の分布のマルチモーダル性に基づく潜在的な非教師分類メカニズムが示唆されている。