[論文レビュー] Supervised Learning with Quantum-Inspired Tensor Networks

E. Miles Stoudenmire, David J. Schwab|arXiv (Cornell University)|May 18, 2016

Computational Physics and Python Applications参考文献 40被引用数 102

ひとこと要約

この論文は行列積分子状態（テンソルトレイン）表現を用いて教師あり学習の分類器をパラメータ化し、MNISTのテスト誤差を1%未満に達成するとともに、物理に着想を得た正則化の視点を提供します。

ABSTRACT

Tensor networks are efficient representations of high-dimensional tensors which have been very successful for physics and mathematics applications. We demonstrate how algorithms for optimizing such networks can be adapted to supervised learning tasks by using matrix product states (tensor trains) to parameterize models for classifying images. For the MNIST data set we obtain less than 1% test set classification error. We discuss how the tensor network form imparts additional structure to the learned model and suggest a possible generative interpretation.

研究の動機と目的

• テンソルネットワークアプローチを用いた教師あり学習を、Matrix Product State (MPS) 分解で分類器をパラメータ化する形で導入する。
• 入力データを局所特徴マップにマップし、重みテンソルをMPSとして表現してスケーラブルな最適化を可能にする。
• MNISTでの実用的な性能を示し、テンソルネットワーク形状が学習を正則化し構造を明らかにする様子を分析する。
• 学習したモデルの解釈を特徴選択と潜在的生成的視点の観点から提供する。

提案手法

• 入力を局所特徴マップでマッピングして高次元テンソルPhi(x)をN成分の積状態（rank-1）として作成する。
• 全ラベルの重みテンソルWをボンド次元mのMPSとして表現し、容量と正則化を制御する。
• DMRGに着想を得たスイープ法を用いてMPSの重みを最適化し、隣接する二つのテンソルを同時に更新し、勾配様更新とSVDに基づく再直交化を行う。
• SVDを用いて適応的にボンド次元を切り詰め、近似の最適性を維持しつつMPSをコンパクトに保つ。
• 入力空間サイズに対して計算コストを線形スケールに抑え、コストはd^3 m^3 N N_L N_Tとして拡張する。
• f^ℓ(x) = W^ℓ · Phi(x)という1対全設定を議論し、最大の|f^ℓ(x)|を持つラベルで分類する。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークのパラメータ化（特にMPS）は教師付き分類タスクの重みテンソルを効率的に表現・最適化できるか。
• RQ2 MPS構造は訓練効率、一般化、および画像データの相関を捉える能力にどのような影響を与えるか。
• RQ3 ボンド次元mを変化させた場合、MNIST上でどの程度の性能向上が得られるか。
• RQ4 特徴選択と潜在的生成的視点の観点から、MPS形態の解釈的含意は何か。

主な発見

• MNIST（28x28を14x14にリサイズ）で、MPS分類器はボンド次元m = 120で3スイープ後、テスト誤差0.97%を達成。
• 低いボンド次元では誤差が大きくなる。例えばm = 10で約5%、m = 20で約2%のテスト誤差。
• 学習と評価のコストは入力サイズに対して線形にスケールし、大きな特異値付近の切り詰めによる適応的圧縮が可能。
• この手法は局所特徴マップとMPS構造を統合し、特徴マップ選択を超えた学習の正則化を提供し、潜在的な生成解釈を提案する。
• このフレームワークは内部テンソルの並列最適化をサポートし、MPSにおけるU/V直交分解を介して学習特徴の構造化ビューを提供する。