[論文レビュー] Adapting Pre-trained Language Models for Quantum Natural Language Processing

Qiuchi Li, Benyou Wang+3 more|arXiv (Cornell University)|Feb 24, 2023

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

本論文は、量子回路と互換性を持つ複素数値のBERTに類似したモデル（QBert）を事前学習することで、量子自然言語処理（QNLP）における最初の古典的・量子的転移学習フレームワークを導入した。文の表現を量子状態として符号化し、量子互換性のある学習を実施することで、QBertはGLUEベンチマークにおいてエンドツーエンドの量子モデルの精度を50–60%向上させ、事前学習された量子符号化による顕著な性能向上を示した。

ABSTRACT

The emerging classical-quantum transfer learning paradigm has brought a decent performance to quantum computational models in many tasks, such as computer vision, by enabling a combination of quantum models and classical pre-trained neural networks. However, using quantum computing with pre-trained models has yet to be explored in natural language processing (NLP). Due to the high linearity constraints of the underlying quantum computing infrastructures, existing Quantum NLP models are limited in performance on real tasks. We fill this gap by pre-training a sentence state with complex-valued BERT-like architecture, and adapting it to the classical-quantum transfer learning scheme for sentence classification. On quantum simulation experiments, the pre-trained representation can bring 50\% to 60\% increases to the capacity of end-to-end quantum models.

研究の動機と目的

• 事前学習された言語モデルと量子NLPの間のギャップを埋めるために、NLPにおける古典的・量子的転移学習を可能にする。
• 線形な量子操作に制限され、スケーラビリティに劣るエンドツーエンドの量子モデルの限界を克服する。
• 量子状態表現と互換性を持つ高精度な複素数値BERTに類似アーキテクチャを設計する。
• 事前学習された量子符号化が、量子NLPモデルの表現能力を顕著に向上させることを実証する。
• 既存のテンソルネットワークベースのQNLPモデルとは対照的に、スケーラブルで頑健かつ量子互換性を持つ代替手法を提供する。

提案手法

• ユニットノルム化された[CLS]トークン表現を用いて、量子状態との整合性を保つために、複素数値のBERTモデル（QBert）を事前学習する。
• パラメータ化されたユニタリ変換を用いて変動型量子測定をシミュレートするように、次文予測（NSP）ヘッドを再実装する。
• 量子状態の忠実度を維持するための数値的制約を適用し、ユニタリ制約を含む複素数値のアテンションおよびフィードフォワード層を実装する。
• 標準のAdamWとは対照的に、複素数値の学習に特化したカスタム複素数値AdamW最適化手法（CAdamW）を採用し、収束性と学習安定性を向上させる。
• タスク固有の変動型量子回路をパラメータ化されたユニタリ操作で訓練することで、ハイブリッド古典的・量子的推論を可能にする。
• Qiskitを用いて量子回路の動作を古典的にシミュレートし、古典的実装と量子実装との等価性を確認する。

Figure 1: Classical-quantum transfer learning pipeline Mari et al. ( 2020 ) .

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語表現は、特に複素数値アーキテクチャを介して、量子コンピューティングフレームワークに適応可能か？
• RQ2 標準の量子専用学習と比較して、古典的・量子的転移学習はエンドツーエンドの量子NLPモデルの性能を顕著に向上させるか？
• RQ3 複素数値ニューラルネットワークは、性能を損なうことなく、量子互換性のあるNLPタスクのための効果的な事前学習とファインチューニングが可能か？
• RQ4 文の表現の量子互換性のある事前学習が、量子NLPモデルのスケーラビリティと頑健性に与える影響は何か？
• RQ5 特化した複素数値最適化手法（CAdamW）は、量子互換性のあるBERTモデルにおける学習収束性とモデル品質にどのような影響を与えるか？

主な発見

• QBert-baseはCoLAデータセットで88.2%のGLUEスコアを達成し、エンドツーエンドの量子モデルQCLS-end2endよりも相対的に61.8%の精度向上を達成した。
• QBert-baseは、複数のGLUEデータセットにおいてエンドツーエンドの量子モデルの性能を50–60%向上させ、表現能力の顕著な向上を示した。
• CAdamW最適化手法を用いた複素数値BERTモデルは、標準のAdamWよりも収束が早く、より低い訓練損失に到達した。これは、複素数値学習に於いてCAdamWの優位性を確認するものである。
• QBert-baseは、同等サイズの実数値BERTの95%の性能を維持しており、量子互換性がモデル品質を劣化させないことを証明した。
• 量子ファインチューニング回路の古典的シミュレーションは、完全な量子実装と等価であった。これにより、ハイブリッド古典的・量子的学習の実現可能性が裏付けられた。
• DisCoCatおよび他のエンドツーエンドの量子モデルは、QBertベースのモデルと比較して顕著に性能が劣っており、事前学習された量子符号化の優位性が浮き彫りになった。

Figure 2: Mapping the classical-quantum transfer learning scheme to our complex-valued PLM. The MLM prediction head for PLM and the linear projection layer of the quantum model are omitted.