[論文レビュー] Quantum Large Language Models via Tensor Network Disentanglers

Borja Aizpurua, Saeed S. Jahromi+2 more|arXiv (Cornell University)|Oct 22, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、自己注意およびフィードフォワード層における従来の密行列重みを、変分量子回路とテンソルネットワーク（特に行列積演算子（MPO））の組み合わせに置き換えるハイブリッド量子古典アーキテクチャを提案する。量子の非エンタングル化装置を用いて重み行列を分解し、エンタングルメントのない残渣MPOのみを保持することで、メモリのオーバーヘッドを低く抑えつつ、古典的LLMを上回る高いモデル精度を達成し、スケーラブルな量子強化型言語モデリングを可能にする。

ABSTRACT

We propose a method to enhance the performance of Large Language Models (LLMs) by integrating quantum computing and quantum-inspired techniques. Specifically, our approach involves replacing the weight matrices in the Self-Attention and Multi-layer Perceptron layers with a combination of two variational quantum circuits and a quantum-inspired tensor network, such as a Matrix Product Operator (MPO). This substitution enables the reproduction of classical LLM functionality by decomposing weight matrices through the application of tensor network disentanglers and MPOs, leveraging well-established tensor network techniques. By incorporating more complex and deeper quantum circuits, along with increasing the bond dimensions of the MPOs, our method captures additional correlations within the quantum-enhanced LLM, leading to improved accuracy beyond classical models while maintaining low memory overhead.

研究の動機と目的

• 古典的大型言語モデル（LLM）の高エネルギー消費と高メモリ要件を、量子コンputィング技術の統合によって解決すること。
• 完全に古典的なテンソルネットワーク圧縮の限界を克服し、より豊かな相関を捉える量子回路を導入すること。
• 既存のトランスフォーマー基盤モデルと互換性を保ちつつ、量子強化型パフォーマンスを実現するハイブリッド量子古典LLMアーキテクチャの開発。
• 効率的なパrameter化と誤り低減戦略を通じて、ノイズの多い中規模量子（NISQ）ハードウェア上での量子強化LLMの実用的デプロイメントを可能にすること。

提案手法

• LLMの層における密行列重みを、三部構造（変分量子回路（VQC）、行列積演算子（MPO）、第二のVQC）に置き換えることで、ユニタリ非エンタングル化フレームワークを構築する。
• テンソルネットワーク非エンタングル化を適用し、元の重み行列WをU × MPO_new × V†に分解する。ここでUとV†はエンタングルメントを除去するユニタリ量子回路である。
• 時間発展ブロック断片化（TEBD）アルゴリズムを用いて、元のMPO_oldから残渣MPO_newを効率的に計算し、ボンド次元χ_new ≤ χ_oldを保証する。
• 変分量子固有状態探索（VQE）アルゴリズムに類似した自己整合的メソッドを用いて、量子回路を変分的に最適化する。
• テンソルネットワークまたは量子GANベースの手法を用いて、古典的入力を量子状態に符号化し、測定により出力を抽出する。
• 分散型テンソルネットワーク再訓練技術を用いてMPOテンソルを再学習し、古典的および量子コンponentのハイブリッド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分量子回路は、LLMの注意およびフィードフォワード層に効果的に統合可能であり、古典的限界を超えるモデル表現力を向上させることができるか？
• RQ2 量子回路とテンソルネットワークを組み合わせることで、低メモリオーバーヘッドを維持しつつ、モデル精度を向上させることができるか？
• RQ3 古典的LLM重み行列を量子回路とMPOで表現する最適な分解戦略は何か？また、極座標分解などの代替手法と比較してどうなるか？
• RQ4 得られるハイブリッド量子古典LLMアーキテクチャは、現実的な量子ビット数と誤り率を有するNISQデバイス上で、効率的に学習可能か？
• RQ5 量子強化型LLMは、スケーラブルかつ近い将来の量子ハードウェア上でデプロイ可能である状態で、どれほど古典的モデルを上回る精度を達成できるか？

主な発見

• 提案手法により、回路深さおよびボンド次元において多項式スケーリングのハイブリッド量子古典的表現に、古典的LLM重み行列を圧縮可能である。
• ユニタリ非エンタングル化装置（UおよびV†）を用いることで、量子回路が浅くなり、残渣MPOのボンド次元が低減され、メモリオーバーヘッドが最小限に抑えられる。
• 変分量子回路による量子相関の導入により、従来のテンソルネットワーク圧縮手法を一般化し、より高いモデル容量を実現する。
• 数値的結果から、数百量子ビットおよび複数層の量子回路が、LlaMAなどのオープンソースLLMにおいて性能向上に十分であることが示唆される。
• 量子圧縮技術は、量子化、知識 distillation、低ランク近似といった古典的圧縮手法と併用可能であり、相乗効果によるパフォーマンス向上が可能である。
• フレームワークはNISQデバイスへのデプロイメントを想定しており、入力符号化および測定サンプリングは、回路深さおよびMPOボンド次元の増加により制御・補正可能である。