[論文レビュー] Number-State Preserving Tensor Networks as Classifiers for Supervised Learning

Glen Evenbly|arXiv (Cornell University)|May 15, 2019

Computational Physics and Python Applications被引用数 4

ひとこと要約

本稿では、数状態から数状態への写像をもつテンソルから構成される、数状態を保存するテンソルネットワークを提案する。この手法は、教師あり学習のための効率的で解釈可能な分類器として機能し、変換中に古典的データ構造を保存し、因果的コーンの縮約により効率的な学習を可能にする。これにより、MERAのような従来では計算的に非現実的であったネットワークが、画像認識などのタスクで最小限の計算コストで強力な性能を発揮するようになり、ベンチマークデータセットでも優れた結果を達成した。

ABSTRACT

We propose a restricted class of tensor network state, built from number-state preserving tensors, for supervised learning tasks. This class of tensor network is argued to be a natural choice for classifiers as (i) they map classical data to classical data, and thus preserve the interpretability of data under tensor transformations, (ii) they can be efficiently trained to maximize their scalar product against classical data sets, and (iii) they seem to be as powerful as generic (unrestricted) tensor networks in this task. Our proposal is demonstrated using a variety of benchmark classification problems, where number-state preserving versions of commonly used networks (including MPS, TTN and MERA) are trained as effective classifiers. This work opens the path for powerful tensor network methods such as MERA, which were previously computationally intractable as classifiers, to be employed for difficult tasks such as image recognition.

研究の動機と目的

• テンソルネットワークを古典的データの分類器として使用する際の解釈可能性と計算的非現実性の問題に取り組む。
• 一般的なテンソルネットワークが古典的積状態をエンタングルした量子状態に写像するため、古典的解釈可能性が曇る問題を解消する。
• 数状態を保存するテンソルに制限することで、特にMERAのような複雑なテンソルネットワークの効率的学習を可能にする。
• この制限付きクラスのテンソルネットワークが、ベンチマーク分類タスクにおいて制限なしのネットワークと同等の性能を発揮することを示す。
• MERAのような強力なテンソルネットワークアーキテクチャが、画像認識などの実用的機械学習応用で利用可能になる道を開く。

提案手法

• 本手法は、入力添え字上のフォック数状態を出力添え字上の数状態に写像する数状態を保存するテンソルから構成される制限付きテンソルネットワークを用いる。
• 訓練データとのスカラー積の効率的計算を可能にするために、数状態に対して因果的コーン構造を活用する。
• 訓練アルゴリズムは、ラベル付き訓練データとのスカラー積を最大化するようにネットワークを最適化し、動的計画法による効率的な環境評価を用いる。
• 数状態を保存するネットワークの因果構造を活用することで、勾配ベース最適化における重要なステップである単一テンソル環境の効率的評価が可能になる。
• MPS、TTN、MERAといった標準的なアーキテクチャを、数状態を保存するように適応させ、標準的な教師あり学習目的関数に従って学習する。
• 計算コストは良好にスケーリングする。例えば、2次元の数状態を保存するMERAではO(χ⁸)、等長MERAではO(χ¹⁶)であるため、より大きな結合次元が可能になる。

実験結果

リサーチクエスチョン

• RQ1 数状態を保存するテンソルネットワークは、教師あり学習における効率的学習を可能にしつつ、解釈可能性を維持できるか？
• RQ2 テンソルネットワークを数状態を保存するテンソルに制限することで、分類タスクに十分な表現力が保持されるか？
• RQ3 MERAのような計算的に非現実的であったテンソルネットワークが、この制限により分類器として実用可能になるか？
• RQ4 数状態を保存するネットワークの性能は、制限なしのテンソルネットワークと比較してどうか？
• RQ5 数状態を保存するネットワークは、標準的な等長テンソルネットワークに比べて、学習における計算スケーリングにどの程度の利点を有するか？

主な発見

• 数状態を保存するテンソルネットワークは、変換中に古典的データ構造を保持するため、入力と出力が古典的数状態のまま残り、解釈可能性が保証される。
• 数状態を保存するネットワークにおける因果的コーン構造により、訓練データとのスカラー積の効率的評価が可能となり、MERAのような複雑なネットワークに対しても学習が可能になる。
• 本手法により、従来では計算的に非現実的であったMERAに類するネットワークの効率的学習が可能になり、分類タスクに応用可能となった。
• ベンチマーク結果から、MPS、TTN、MERAの数状態を保存するバージョンが、標準的な分類問題において、制限なしのネットワークと同等の優れた性能を発揮することが示された。
• 数状態を保存するネットワークの最適化における計算コストは、2次元MERAでO(χ⁸)にスケーリングされ、等長MERAのO(χ¹⁶)に比べて平方根の改善が得られ、同じ計算予算下でもより大きな結合次元が可能になった。
• 本手法により、訓練サンプルごとの環境評価を並列化できるようになり、大規模な訓練セットのコストを軽減できる。