[論文レビュー] A Multi-Scale Tensor Network Architecture for Classification and Regression

Justin Reyes, Miles Stoudenmire|arXiv (Cornell University)|Jan 22, 2020

Computational Physics and Python Applications被引用数 12

ひとこと要約

本稿では、MERA層によるウェーブレットベースの粗大化を用いた多スケールテンソルネットワークアーキテクチャを提案し、教師あり学習を向上させる。その後、分類および回帰のための行列積状態（MPS）を訓練する。主な貢献は、訓練済みMPSモデルを最小限の性能損失でネットワークを逆方向に細分化可能にすることであり、細分化により、より高解像度のモデルを直接ランダム初期化するのと比較して、精度が向上する効率的な初期化が可能になる。

ABSTRACT

We present an algorithm for supervised learning using tensor networks, employing a step of preprocessing the data by coarse-graining through a sequence of wavelet transformations. We represent these transformations as a set of tensor network layers identical to those in a multi-scale entanglement renormalization ansatz (MERA) tensor network, and perform supervised learning and regression tasks through a model based on a matrix product state (MPS) tensor network acting on the coarse-grained data. Because the entire model consists of tensor contractions (apart from the initial non-linear feature map), we can adaptively fine-grain the optimized MPS model backwards through the layers with essentially no loss in performance. The MPS itself is trained using an adaptive algorithm based on the density matrix renormalization group (DMRG) algorithm. We test our methods by performing a classification task on audio data and a regression task on temperature time-series data, studying the dependence of training accuracy on the number of coarse-graining layers and showing how fine-graining through the network may be used to initialize models with access to finer-scale features.

研究の動機と目的

• 階層的データ表現を活用して一般化性能を向上させるテンソルネットワークベースの機械学習モデルの開発。
• 高次元学習タスクにおけるモデル表現力とパラメータ効率のバランスをとる課題への対処。
• 性能劣化を伴わずに粗大化されたモデルを細分化してより細かい解像度に適応的に初期化することの実現。
• ウェーブレットベースの粗大化の深さが分類および回帰タスクにおけるモデル精度に与える影響の調査。
• 理論的および実用的利点を有する、可逆的かつスケーラブルなモデル訓練のためのテンソルネットワーク変換の可能性の提示。

提案手法

• 入力データをMERAテンソルネットワーク層によるウェーブレット変換の近似を用いて、次々に処理し、次元削減と多スケール特徴の抽出を実現。
• モデル重みを粗大化されたデータ上で作用する行列積状態（MPS）テンソルネットワークとして表現し、効率的なパラメータ化と縮約を可能にする。
• 密度行列縮約群（DMRG）法に基づく適応的アルゴリズムを用いてMPSを訓練し、最適化には交互最小二乗法を採用。
• 訓練済みMPSモデルをMERA層を逆方向に細分化することで、出力性能を保持したままより細かいスケールの特徴空間に射影。
• 細分化されたモデルを、より細かいスケールでのさらなる最適化の初期化に用い、収束性と精度の向上を図る。
• 音声分類および温度時系列回帰に本アーキテクチャを適用し、粗大化層の数を変化させた場合の性能を評価。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの粗大化層の数が、分類および回帰モデルの精度にどのように影響するか？
• RQ2 性能劣化を伴わず、訓練済みの粗大化モデルを細かいスケールに効果的に細分化できるか？ これにより、より良い初期化が可能になるか？
• RQ3 直接ランダム初期化するのと比較して、粗いスケールで事前学習したモデルを細分化してより細かいスケールに初期化することで、どのような性能向上が得られるか？
• RQ4 ウェーブレット近似を用いたMERA層は、標準的なCNNと比較して、階層的特徴学習およびパラメータ効率の面でどのように異なるか？
• RQ5 粗大化層の数を調整する際の、モデル表現力と計算効率の最適なトレードオフは何か？

主な発見

• N_d4+1層の粗いスケールで学習し、その後N_d4に細分化することで、N_d4で直接学習するのと比較して高い精度が得られ、階層的初期化の利点を示した。
• 温度回帰タスクにおける平均絶対誤差⟨ε⟩は、粗大化層の数が増えるにつれて減少し、ウェーブレット前処理の深さが増すことでモデル性能が向上することを示した。
• 訓練済みモデルの細分化は出力性能を保持しており、より表現力の高いモデルを細かい解像度に効率的かつ可逆的に初期化する手法を提供した。
• 同じ最適化スイープ回数であっても、ランダム初期化と比較して、細分化による初期化により、精度が顕著に向上した。
• 本アーキテクチャは、ウェーブレットベースのMERA層がデータ内の多スケール相関を効果的に捉えることができ、データの固有の相関長に合わせて層数を調整する必要があることを示した。
• 制御された粗大化と細分化を通じて、モデルの複雑さ、効率性、一般化性能のバランスをとるスケーラブルで適応的なフレームワークを提供した。