[論文レビュー] Foundations for Near-Term Quantum Natural Language Processing

Bob Coecke, Giovanni de Felice+2 more|arXiv (Cornell University)|Dec 7, 2020

Quantum Computing Algorithms and Architecture参考文献 91被引用数 22

ひとこと要約

この論文は、変分量子アルゴリズムを用いて、言語の文法と意味を量子回路で統合することで、近い将来の量子自然言語処理（QNLP）の基盤的原則を確立する。量子回路による言語的構造の符号化が、古典的手法よりも指数的に安価であることを示しており、NISQ時代のハードウェアで量子優位性を達成しつつ、図式的推論とZXカルキュラスを通じて解釈可能性を維持している。

ABSTRACT

We provide conceptual and mathematical foundations for near-term quantum natural language processing (QNLP), and do so in quantum computer scientist friendly terms. We opted for an expository presentation style, and provide references for supporting empirical evidence and formal statements concerning mathematical generality. We recall how the quantum model for natural language that we employ canonically combines linguistic meanings with rich linguistic structure, most notably grammar. In particular, the fact that it takes a quantum-like model to combine meaning and structure, establishes QNLP as quantum-native, on par with simulation of quantum systems. Moreover, the now leading Noisy Intermediate-Scale Quantum (NISQ) paradigm for encoding classical data on quantum hardware, variational quantum circuits, makes NISQ exceptionally QNLP-friendly: linguistic structure can be encoded as a free lunch, in contrast to the apparently exponentially expensive classical encoding of grammar. Quantum speed-up for QNLP tasks has already been established in previous work with Will Zeng. Here we provide a broader range of tasks which all enjoy the same advantage. Diagrammatic reasoning is at the heart of QNLP. Firstly, the quantum model interprets language as quantum processes via the diagrammatic formalism of categorical quantum mechanics. Secondly, these diagrams are via ZX-calculus translated into quantum circuits. Parameterisations of meanings then become the circuit variables to be learned. Our encoding of linguistic structure within quantum circuits also embodies a novel approach for establishing word-meanings that goes beyond the current standards in mainstream AI, by placing linguistic structure at the heart of Wittgenstein's meaning-is-context.

研究の動機と目的

• 言語的意味と文法的構造を統合する量子ネイティブな自然言語処理フレームワークを確立すること。
• 言語的文法を量子回路に符号化することが、古典的手法よりも指数的に効率的であることを実証すること。
• 変分量子回路を用いたエンドツーエンドの学習により、NISQ時代のQNLPパイプラインを構築すること。
• 図式的量子推論を通じて意味の流れを明示することで、NLPにおける解釈可能性を可能にすること。
• 広範なNLPタスクを一つの量子優位性フレームワークに統合し、先行研究を越えること。

提案手法

• カテゴリカル量子力学（CQM）と図式的推論に裏付けられた、DisCoCatモデルを用いて言語的意味と文法を表現する。
• ZXカルキュラスを用いて言語的図式を量子回路に翻訳し、既存の量子ハードウェアでの実装を可能にする。
• 語の意味をパラメータ化された量子状態（キュービット状態）として符号化し、変分量子回路を用いて最適化する。
• パラメータ化された量子回路をNISQパラダイムに活用し、最適化を通じて文レベルの意味から語の意味を学習する。
• 図式的推論を活用して、言語的構造が量子回路アーキテクチャと意味の進化を直接形作ることを保証する。
• 「意味は文脈に依存する」という原則を適用し、語の意味を孤立した文脈ではなく、完全な文内での相互作用を通じて学習する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして言語的意味と文法的構造を、量子モデルにおいて標準的に統合できるか？
• RQ2 なぜ量子コンピューティングは、とりわけNISQ時代において自然言語処理に本質的に適しているのか？
• RQ3 CQMとZXカルキュラスによる図式的推論が、量子NLP回路の構築と最適化においてどのような利点を提供するのか？
• RQ4 変分量子回路は、文法に配慮した、解釈可能な方法で語の意味を学習できるか？ そして、古典的なブラックボックスモデルと比べてどう異なるか？
• RQ5 QNLPにおける量子優位性の範囲は何か？ どのNLPタスクが、一つの量子高速化フレームワークに統合可能か？

主な発見

• 言語的構造を量子回路に符号化する際、追加コストが一切かからない。古典的システムでは計算のボトルネックとなるものが、NISQパラダイムでは「無料の昼食」となる。
• カテゴリカル量子力学に裏打ちされたDisCoCatモデルは、意味と文法を標準的に統合する方法を提供し、QNLPを本質的に量子ネイティブにする。
• QNLPタスクにおける量子優位性は、孤立した事例を越えて確立されており、広範なNLPタスクのグループが量子高速化の恩恵を受けることが示された。
• ZXカルキュラスの使用により、言語的図式を実行可能な量子回路に直接翻訳できるようになり、抽象的な言語的構成と物理的量子ハードウェアの橋渡しを可能にした。
• 孤立した文脈ではなく、完全な文の意味から語の意味を学習することで、文法に配慮した、意味に配慮したシステムが構築され、解釈可能性においてブラックボックスな古典的手法を上回った。
• 変分量子回路により、文レベルの意味指定から語の意味をエンドツーエンドで学習可能であり、最適化手順が意味的制約から最適な語ベクトルを導出できる。