[論文レビュー] TensorNetwork for Machine Learning

Stavros Efthymiou, Jack D. Hidary+1 more|arXiv (Cornell University)|Jun 7, 2019

Quantum many-body systems参考文献 31被引用数 62

ひとこと要約

本論文は、TensorNetworkライブラリを用いたマトリクス積状態テンソルネットワークを使用した画像分類を実証し、GPU加速の自動微分訓練によりMNISTで98%、Fashion-MNISTで88%のテスト精度を達成した。

ABSTRACT

We demonstrate the use of tensor networks for image classification with the TensorNetwork open source library. We explain in detail the encoding of image data into a matrix product state form, and describe how to contract the network in a way that is parallelizable and well-suited to automatic gradients for optimization. Applying the technique to the MNIST and Fashion-MNIST datasets we find out-of-the-box performance of 98% and 88% accuracy, respectively, using the same tensor network architecture. The TensorNetwork library allows us to seamlessly move from CPU to GPU hardware, and we see a factor of more than 10 improvement in computational speed using a GPU.

研究の動機と目的

• テンソルネットワークを画像分類に適用できることを示す。
• 画像データをマトリクス積状態形式にエンコードし、自動微分を用いて訓練する。
• MNISTとFashion-MNISTデータセットにおける性能とスピードアップを示す。
• 実務者向けにオープンソースのコードとTensorNetworkとTensorFlowの統合を提供する。

提案手法

• 各画像ピクセルを2次元の局所特徴マップにエンコードしてデータテンソルを形成する。
• 分類器をラベルインデックスを持つMPSテンソルとして表現し、エンコードされたデータとの内積を計算して f^(l)(x) を得る。
• ラベルに対するソフトマックスを用いた多クラスクロスエントロピー損失と自動微分によるバックプロパゲーションで訓練する。
• 縮約順序と計算コストを論じ、並列化可能な縮約戦略を推奨する。
• 訓練のために自動微分を有効にするTensorFlowバックエンドとAdam最適化を活用する。
• CPUとGPUのパフォーマンスを比較し、結合次元chi（chi >= 約10）への依存を評価する。

実験結果

リサーチクエスチョン

• RQ1 MNISTとFashion-MNISTで画像を効果的に分類できるMPSテンソルネットワークは存在するか？
• RQ2 結合次元chiは精度と訓練コストにどのような影響を与えるか？
• RQ3 TensorNetworkとTensorFlowはテンソルネットワークの勾配に基づく最適化をどのように可能にするか？
• RQ4 このアプローチをCPUからGPUへ移すと実用的な速度向上はどの程度になるか？
• RQ5 縮約順序は計算効率と並列性にどのような影響を与えるか？

主な発見

• MPSネットワークを用いた訓練データ60k、テストデータ10kの全体でMNISTのテスト精度は約98%。
• 同じアーキテクチャと設定下でFashion-MNISTのテスト精度は約88%。
• 同じコードベースに対して、GPUトレーニングはCPUと比較してエポックあたり約10倍の実行時間を短縮する。
• 最終精度はchi ≳ 10の場合、結合次元chiへの依存がほとんどないことを示す。
• ソフトマックスを用いたクロスエントロピー損失は、最終精度の点で平均二乗誤差と同等の性能を示す。
• 自動微分（TensorFlow）を用いた訓練は、MPSベースの分類に対して実用的で効果的である。