[論文レビュー] Entanglement and Tensor Networks for Supervised Image Classification

John R. C. Martyn, Guifré Vidal+2 more|arXiv (Cornell University)|Jul 12, 2020

Computational Physics and Python Applications被引用数 9

ひとこと要約

本稿は、MNISTの画像を用いた教師あり画像分類のためのテンソルネットワークモデルにおけるもつれの性質を調査する。長距離もつれが必須でないことが判明した一方で、局所的なもつれ（n×nブロック）を持つブロック積状態（BPS）ですらn=2のときにも99.97%の訓練精度を達成するが、過学習のため一般化性能が制限されている。これは、現在の手法を超える最適化法の改善が一般化性能を向上させるために不可欠であることを示唆している。

ABSTRACT

Tensor networks, originally designed to address computational problems in quantum many-body physics, have recently been applied to machine learning tasks. However, compared to quantum physics, where the reasons for the success of tensor network approaches over the last 30 years is well understood, very little is yet known about why these techniques work for machine learning. The goal of this paper is to investigate entanglement properties of tensor network models in a current machine learning application, in order to uncover general principles that may guide future developments. We revisit the use of tensor networks for supervised image classification using the MNIST data set of handwritten digits, as pioneered by Stoudenmire and Schwab [Adv. in Neur. Inform. Proc. Sys. 29, 4799 (2016)]. Firstly we hypothesize about which state the tensor network might be learning during training. For that purpose, we propose a plausible candidate state $|Σ_{\ell} angle$ (built as a superposition of product states corresponding to images in the training set) and investigate its entanglement properties. We conclude that $|Σ_{\ell} angle$ is so robustly entangled that it cannot be approximated by the tensor network used in that work, which must therefore be representing a very different state. Secondly, we use tensor networks with a block product structure, in which entanglement is restricted within small blocks of $n imes n$ pixels/qubits. We find that these states are extremely expressive (e.g. training accuracy of $99.97 \%$ already for $n=2$), suggesting that long-range entanglement may not be essential for image classification. However, in our current implementation, optimization leads to over-fitting, resulting in test accuracies that are not competitive with other current approaches.

研究の動機と目的

• テンソルネットワークが機械学習、特に画像分類で成功する理由を、もつれの性質を分析することで理解すること。
• テンソルネットワークが訓練画像の和状態を学習しているかどうかを調査すること。これは膨大なもつれを要する。
• もつれを小さなn×nピクセルブロックに制限することで、高い性能を維持しながら一般化性能を向上させられるかを検証すること。
• 画像分類のテンソルネットワークモデルにおける過学習を低減する構造的および最適化手法の特定

提案手法

• 訓練画像のクラスℓのすべての画像の重ね合わせとして定義される和状態|Σℓ⟩を、テンソルネットワークが学習する状態の候補として提案する。
• |Σℓ⟩のもつれエントロピーを分析し、それを近似するには結合次元χ ≈ 6,000が必要であることを示し、通常のMPSの結合次元（χ ≤ 120）をはるかに上回ることを示す。
• もつれをn×nピクセルブロック内に制限するブロック積状態（BPS）を導入し、効率的な計算と制御されたもつれを可能にする。
• BPSを表現するため、ブロック構造を持つテンソルを用いた行列積状態（MPS）アーキテクチャを採用し、損失関数に対する勾配降下法による最適化を可能にする。
• 境界での結合次元を2より大きくすることで、MPSテンソルの重複パラメータ化を採用し、一般化性能の向上を観察する。
• 異なるブロックサイズ（n=2,3,4）と結合次元（χ）における訓練精度とテスト精度を比較し、過学習と表現力の程度を評価する。

実験結果

リサーチクエスチョン

• RQ1 先行研究（StoudenmireとSchwab, 2016）におけるテンソルネットワークモデルが、クラスℓのすべての訓練画像の和状態|Σℓ⟩を近似している可能性は？
• RQ2 画像分類タスクにおけるテンソルネットワークが実際に学習する状態のもつれ構造は？
• RQ3 もつれを局所的なn×nブロックに制限しても、依然として高い分類精度を達成できるか？
• RQ4 現在のテンソルネットワークモデルがなぜ過学習を起こすのか、最適化法はどのように改善できるか？

主な発見

• 学習状態の妥当な候補である和状態|Σℓ⟩は、結合次元χ ≤ 120のMPSでは近似不可能なほど高もつれであるため、モデルは異なる状態を学習していることが示唆される。
• n=2（2×2ピクセルブロック）のブロック積状態では、訓練精度が99.97%に達し、長距離もつれが高表現力に不可欠でないことを実証した。
• 高い訓練精度にもかかわらずテスト精度が低く抑えられていることから、現在の最適化スキームでは顕著な過学習が生じていることが示された。
• 重複パラメータ化（例：MPS境界での結合次元>2）を用いることでテスト精度が向上し、一般化性能向上のための最適化空間があることが示唆された。
• 最大テスト精度はブロックサイズnが大きくなるにつれて単調に増加し、より大きなブロックが一般化性能の向上に寄与することを示した。
• 高い表現力にもかかわらず、現在のブロック積状態の実装は、最先端モデルと比較して競争力のあるテスト精度を達成できていない。これは、より優れた最適化戦略の導入が不可欠であることを示している。