[論文レビュー] Tensor networks and efficient descriptions of classical data

Sirui Lu, Márton Kanász-Nagy+2 more|arXiv (Cornell University)|Mar 11, 2021

Tensor decomposition and applications参考文献 80被引用数 10

ひとこと要約

本稿は、テキストおよび画像データセットにおける相互情報量（MI）のスケーリングを分析することで、古典的データに対するテンソルネットワーク（TN）手法のスケーラビリティを調査する。自己回帰的および畳み込みニューラルネットワークベースのMI推定器を用いて、テキストは近似的に体積則MIスケーリング（ν ≈ 1）を示すことが判明し、MPSのような効率的な1次元TNは除外される一方、画像は面積則スケーリングを示し、PEPSのような2次元TNによる効率的表現が可能であることを支持する。

ABSTRACT

We investigate the potential of tensor network based machine learning methods to scale to large image and text data sets. For that, we study how the mutual information between a subregion and its complement scales with the subsystem size $L$, similarly to how it is done in quantum many-body physics. We find that for text, the mutual information scales as a power law $L^ν$ with a close to volume law exponent, indicating that text cannot be efficiently described by 1D tensor networks. For images, the scaling is close to an area law, hinting at 2D tensor networks such as PEPS could have an adequate expressibility. For the numerical analysis, we introduce a mutual information estimator based on autoregressive networks, and we also use convolutional neural networks in a neural estimator method.

研究の動機と目的

• テキストや画像のような古典的データを、テンソルネットワークが効率的に表現できるかどうかを評価すること。
• 自然なデータにおける部分領域とその補集合間の相互情報量（MI）のスケーリング行動を特定すること。
• MIスケーリングに基づいて、1次元および2次元テンソルネットワーク（例：MPS、PEPS）が画像およびテキストデータの表現に適しているかどうかを評価すること。
• 高次元データにおけるMI推定を正確に行うために、ニューラルネットワークベースのMI推定器を開発・適用すること。
• MIスケーリングとテンソルネットワークの表現力の関係を結びつけることで、効率的な機械学習モデルの設計を支援すること。

提案手法

• 高次元データにおけるMI推定を目的とした自己回帰的ニューラルネットワークに基づく相互情報量推定器を提案する。
• 畳み込みニューラルネットワークをニューラル推定フレームワークに組み込み、画像の部分領域におけるMIを計算する。
• バイアス補正を考慮したリスケーリングを施したk-最近傍法（kNN）を比較のためのベースライン推定器として用いる。
• MNIST画像に対して並進不変性を適用することでエッジ効果を低減し、MI推定の正確性を向上させる。
• 画像データセットにおけるさまざまな部分分割（例：中心部対周辺部、上部対下部）におけるMIスケーリングを分析する。
• 量子多体系物理学における理論的予想（面積則および体積則など）と照らし合わせ、観測されたMIスケーリングを比較する。

実験結果

リサーチクエスチョン

• RQ1 テキストデータにおける部分領域とその補集合間の相互情報量は、べき則に従ってスケーリングするか？その指数νは何か？
• RQ2 画像データは面積則か体積則のMIスケーリングを示すか？これは2次元テンソルネットワークの適用可能性を示唆するか？
• RQ3 ニューラルネットワークベースのMI推定器は、高次元古典的データにおけるMIスケーリングを正確に捉えることができるか？
• RQ4 類似したべき則相関を示すにもかかわらず、自然言語におけるMIスケーリングは臨界量子系とどのように異なるか？
• RQ5 MIスケーリングの結果は、機械学習モデルにおけるテンソルネットワークアーキテクチャ選定にどのような意味を持つのか？

主な発見

• テキストデータは、指数ν ≈ 1のべき則に従うMIスケーリングを示し、これは近似的に体積則スケーリングを示しており、MPSのような1次元TNによる効率的表現は不可能であることを示唆する。
• 並進不変性を適用したMNIST画像データは、明確な面積則スケーリングを示しており、画像表現にPEPSのような2次元TNを効果的に用いることが可能であることを支持する。
• Fashion-MNISTおよびCIFAR-10データセットでは混合結果が得られた：中心部対周辺部の分割では面積則に従うが、上部対下部の分割では面積則を上回るスケーリングを示しており、より複雑な相関関係を示唆する。
• テキストにおける近似的な体積則MIスケーリングは、臨界系で予想される対数則MIスケーリングとは矛盾しており、テキストにおけるべき則相関が臨界的類似のMI行動を示すとは限らないことを示唆する。
• 簡単なトロイモデルにより、古典的分布における代数的相関が必ずしも対数則MIスケーリングをもたらすわけではないことが示され、言語の木構造モデルからの仮定に疑問を呈する。
• これらの結果から、画像やテキストのような複雑なデータの効率的モデリングには、より一般化されたテンソルネットワークアーキテクチャ、あるいはTNとニューラルネットワークを組み合わせたハイブリッドモデルの開発が求められることが示唆される。