[論文レビュー] Quantum-Classical Machine learning by Hybrid Tensor Networks

Ding Liu, Yao, Jiaqi+2 more|arXiv (Cornell University)|May 15, 2020

Quantum many-body systems参考文献 37被引用数 5

ひとこと要約

本稿では、従来のテンソルネットワークの機械学習における限界を克服するため、古典的ニューラルネットワークとテンソルネットワークを統合する統合的深層学習フレームワークであるハイブリッドテンソルネットワーク（HTN）を提案する。ニューラルネットワーク部による非線形活性化関数の導入により、HTNは普遍近似能力を達成し、誤差逆伝搬法と確率的勾配降下法によるエンドツーエンド学習を可能にした。量子古典的学習タスク、たとえば量子状態分類や量子データのオートエンコーディングにおいて優れた性能を示した。

ABSTRACT

Tensor networks (TN) have found a wide use in machine learning, and in particular, TN and deep learning bear striking similarities. In this work, we propose the quantum-classical hybrid tensor networks (HTN) which combine tensor networks with classical neural networks in a uniform deep learning framework to overcome the limitations of regular tensor networks in machine learning. We first analyze the limitations of regular tensor networks in the applications of machine learning involving the representation power and architecture scalability. We conclude that in fact the regular tensor networks are not competent to be the basic building blocks of deep learning. Then, we discuss the performance of HTN which overcome all the deficiency of regular tensor networks for machine learning. In this sense, we are able to train HTN in the deep learning way which is the standard combination of algorithms such as Back Propagation and Stochastic Gradient Descent. We finally provide two applicable cases to show the potential applications of HTN, including quantum states classification and quantum-classical autoencoder. These cases also demonstrate the great potentiality to design various HTN in deep learning way.

研究の動機と目的

• 従来のテンソルネットワークが非線形活性化関数の欠如とスケーラビリティの低さにより抱える根本的限界を解消すること。
• 表現力の向上を図るため、古典的ニューラルネットワークとテンソルネットワークをシームレスに統合する統合的深層学習フレームワークを構築すること。
• 誤差逆伝搬法や確率的勾配降下法といった標準的な深層学習アルゴリズムを用いて、ハイブリッドアーキテクチャのエンドツーエンド学習を可能にすること。
• HTNの量子古典的機械学習における可能性、特に量子状態分類や量子データのオートエンコーディングを含め探求すること。
• エンタングルメントと忠実度を活用したハイブリッド量子古典モデルを基盤として、量子特徴工学の基盤を築くこと。

提案手法

• 任意の組み合わせが可能な古典的ニューラルネットワーク（例：FCN、CNN、RNN）とテンソルネットワーク（例：MPS、PEPS、TTN）を統合可能な、ハイブリッドテンソルネットワーク（HTN）の普遍的フレームワークを提案する。
• 古典的ニューラルネットワーク層による非線形活性化関数の導入により、従来のテンソルネットワークが抱える普遍近似の限界を克服する。
• エンドツーエンド学習のため、標準的な深層学習最適化手法（誤差逆伝搬法と確率的勾配降下法）を採用する。
• モジュール型の構造を採用し、ネットワークの任意の段階でテンソルネットワーク構造とニューラルネットワーク層を柔軟に統合可能にする。
• 特に積状態とエンタングル状態に対して、テンソルネットワークの因子分解（例：TTN）を用いて量子状態とプロセスを表現する。
• オートエンコーダタスクにおける再構成品質の評価に、PSNRと忠実度の指標を用い、中間表現のスケールを変化させるグリッドベースの圧縮を実施する。

実験結果

リサーチクエスチョン

• RQ1 非線形ニューラルネットワーク部を統合することで、テンソルネットワークを機械学習における普遍近似器にできるか？
• RQ2 テンソルネットワークとニューラルネットワークのハイブリッドアーキテクチャは、従来のテンソルネットワークと比較して、スケーラビリティと表現力の両面でどのように向上するか？
• RQ3 HTNは、微分可能でエンドツーエンド学習可能な方法で、量子状態（積状態およびエンタングル状態を含む）を効果的に学習・再構成できるか？
• RQ4 HTNは、エンタングルメントや忠実度といった量子的性質を抽出・利用する観点から、量子特徴工学の実用的フレームワークとして有効に機能できるか？
• RQ5 MNIST や Fashion-MNIST といった異なるデータセットを用いた実用的タスク、たとえば量子状態分類と量子オートエンコーディングにおいて、HTNの性能はどのように比較されるか？

主な発見

• 従来のテンソルネットワークは非線形活性化関数の欠如とスケーラビリティの低さにより、普遍近似器とはならず、深層学習の構築ブロックとしての利用が制限されている。
• HTNは、古典的ニューラルネットワーク部による非線形活性化関数の統合により、普遍近似能力と向上した表現力を実現し、これらの限界を克服した。
• 誤差逆伝搬法や確率的勾配降下法といった標準的な深層学習アルゴリズムを用いたエンドツーエンド学習をサポートしており、柔軟でスケーラブルなアーキテクチャ設計を可能にした。
• 量子状態分類タスクにおいて、HTNは高い精度を達成し、積状態およびエンタングル状態の両方を効果的に処理できる能力を示した。
• MNIST および Fashion-MNIST における量子古典的オートエンコーダ実験では、中間表現グリッドが大きい（例：8×8）ほど高いPSNRスコアを達成し、より優れた再構成忠実度を示した。
• 本フレームワークは、圧縮率と再構成品質のバランスの取れたトレードオフを実現しており、小さなグリッド（例：2×2）では高い圧縮率だがPSNRは低くなる傾向を示した。これは、量子情報処理分野における実用的有用性を裏付けた。