[論文レビュー] QNLP in Practice: Running Compositional Models of Meaning on a Quantum Computer

Robin G. Lorenz, Anna Pearson+3 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Text Analysis Techniques被引用数 28

ひとこと要約

この論文は、約100文のデータセットに対するノイズの多い中規模量子（NISQ）ハードウェア上での初のNLP実験を実演し、DisCoCatを含む構成的NLPモデルを量子回路上で実装・訓練します。

ABSTRACT

Quantum Natural Language Processing (QNLP) deals with the design and implementation of NLP models intended to be run on quantum hardware. In this paper, we present results on the first NLP experiments conducted on Noisy Intermediate-Scale Quantum (NISQ) computers for datasets of size greater than 100 sentences. Exploiting the formal similarity of the compositional model of meaning by Coecke, Sadrzadeh and Clark (2010) with quantum theory, we create representations for sentences that have a natural mapping to quantum circuits. We use these representations to implement and successfully train NLP models that solve simple sentence classification tasks on quantum hardware. We conduct quantum simulations that compare the syntax-sensitive model of Coecke et al. with two baselines that use less or no syntax; specifically, we implement the quantum analogues of a "bag-of-words" model, where syntax is not taken into account at all, and of a word-sequence model, where only word order is respected. We demonstrate that all models converge smoothly both in simulations and when run on quantum hardware, and that the results are the expected ones based on the nature of the tasks and the datasets used. Another important goal of this paper is to describe in a way accessible to AI and NLP researchers the main principles, process and challenges of experiments on quantum hardware. Our aim in doing this is to take the first small steps in this unexplored research territory and pave the way for practical Quantum Natural Language Processing.

研究の動機と目的

• NISQハードウェア上で量子対応型NLPモデルを実用的に実行することを示す。
• 量子ハードウェアとシミュレーション上で、構文感知型のDisCoCatと構文非依存のベースラインを比較する。
• QNLP研究者向けの過程・課題・パイプラインの詳細な説明を提供する。

提案手法

• 文章表現のための bag-of-words、word-sequence、およびDisCoCatモデルの量子版を提案する。
• 文法還元をテンソル縮約に写像し、量子回路に翻訳する。
• SPSA最適化を用いてバイナリクロスエントロピー目的でモデルを訓練する。
• 2つの小さな二値分類データセットで評価し、モデル間で構文感度を比較する。
• シミュレーションとIBM Quantumハードウェアを用いて収束と性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 構文感知型の構成的NLPモデルをNISQハードウェア上で実装・訓練できるか？
• RQ2 量子ハードウェア上で実行した際、小規模NLPタスクにおいて構文感知型のDisCoCatモデルは構文非依存のベースラインとどう比較されるか？
• RQ3 現在の量子デバイス上で量子NLPモデルを実行する際の実務的な課題と制限は何か？
• RQ4 シミュレーションと実機の量子実行は、異なるモデルアーキテクチャで収束と期待される挙動を示すか？

主な発見

• 実装されたすべてのモデルは、シミュレーションと量子ハードウェア両方の実行で滑らかに収束する。
• DisCoCatは構文構造を要するタスクで最も良く機能し、bag-of-wordsとword-sequenceモデルは構文非依存のタスクでより良い性能を発揮する。
• 130文と105文の2つのデータセットを使用し、ハードウェア上で中規模QNLP実験を実証した。
• 量子ハードウェアの実験は、NISQデバイス上で言語学的に動機づけられたNLPタスクを実行することの実現可能性を確認した。
• 実験は、構文感度の程度とタスク要件との相関を示している。