[論文レビュー] lambeq: An Efficient High-Level Python Library for Quantum NLP

Dimitri Kartsaklis, Ian Fan+8 more|arXiv (Cornell University)|Oct 8, 2021

Scientific Computing and Data Management参考文献 32被引用数 9

ひとこと要約

lambeq は、ストリング図とテンソルネットワークを介して文を量子回路に変換することにより、エンドツーエンドの量子自然言語処理（QNLP）を可能にするオープンソースでハイレベルな Python ライブラリである。複数の構成的モデル、文法解析、回路最適化、および量子および古典的機械学習フレームワークとの統合をサポートし、小規模な NLP ベンチマークにおいてノイズなしおよびノイズありの量子シミュレーションの両方で完璧なテスト精度を達成している。

ABSTRACT

We present lambeq, the first high-level Python library for Quantum Natural Language Processing (QNLP). The open-source toolkit offers a detailed hierarchy of modules and classes implementing all stages of a pipeline for converting sentences to string diagrams, tensor networks, and quantum circuits ready to be used on a quantum computer. lambeq supports syntactic parsing, rewriting and simplification of string diagrams, ansatz creation and manipulation, as well as a number of compositional models for preparing quantum-friendly representations of sentences, employing various degrees of syntax sensitivity. We present the generic architecture and describe the most important modules in detail, demonstrating the usage with illustrative examples. Further, we test the toolkit in practice by using it to perform a number of experiments on simple NLP tasks, implementing both classical and quantum pipelines.

研究の動機と目的

• 理論的 QNLP と近い未来の量子ハードウェアへの実装の間のギャップを埋めること。
• 研究者が量子 NLP パipラインをプロトタイプ化および実験できるように、モジュラーで拡張可能で使いやすいツールキットを提供すること。
• 袋の単語、語順、構文に基づく DisCoCat の3つの異なる構成的モデルをサポートし、構文への感受性の程度を変化させること。
• PyTorch や JAX などの量子コンパイラーおよび古典的 ML ライブラリとのシームレスな統合を可能にし、トレーニングとシミュレーションを実行すること。
• 将来の高度な機能、たとえば図式的微分、トランスフォーマーに基づく解析、文書レベルの議論モデリングのサポートの基盤を築くこと。

提案手法

• パイプラインは、最先端のパーサーを統合したツールキット内に組み込まれた、組み合わせカテゴリー文法（CCG）パーサーによる構文構造の生成で始まる。
• パーサーの木は、図式的推論とテンソルネットワーク操作のためのバックエンドライブラリである DisCoPy を用いてストリング図に変換される。
• ストリング図は、変換ルールを用いて簡略化または最適化された表現に変換される。
• ストリング図は、パラメータ化されたアーンツェを用いて量子回路にマッピングされ、量子的および古典的（テンソルネットワーク）実行の両方をサポートする。
• IBM Quantum Aer シミュレータを用いたノイズなしおよびノイズありの量子シミュレーションをサポートし、最適化アルゴリズムとして SPSA を使用する。
• ツールキットは拡張可能に設計されており、新しい構成的モデル、パーサー、アーンツェ、および図式的微分の将来的な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルでモジュラーな Python ライブラリは、自然言語から量子回路へのエンドツーエンドの量子 NLP パイプラインの実装を簡素化できるか？
• RQ2 袋の単語から構文に敏感な DisCoCat までの異なる構成的モデルは、量子 NLP モデルの性能と表現力にどのように影響を与えるか？
• RQ3 ノイズありシミュレータ上で SPSA を用いてトレーニングされた量子回路は、小規模な NLP タスクで高い精度に到達できるか、どの程度の程度まで到達できるか？
• RQ4 同じパイプラインを、最小限のコード変更で古典的テンソルネットワークトレーニングと量子回路実行の両方で使用できるか？
• RQ5 図式的で構成的なアプローチを用いて、言語的構造を保持したまま QNLP パイプラインをスケーリングすることは可能か？

主な発見

• ツールキットは、3つの異なる構成的モデルを用いて文を量子回路に成功して変換した。構文に配慮した DisCoCat モデルが、最も言語的に忠実な表現を提供した。
• テンソルネットワークを用いた古典的実験は、Lorenz 他（2021）の意味分類データセットで完璧な精度を達成した。これは、モデル開発のための古典的シミュレーションの有効性を示している。
• ノイズなしの量子シミュレーションでは、初期段階の不安定さや変動が見られたが、量子パイプラインは正常に収束し、完璧なテスト精度を達成した。
• ノイズありのショットベースのシミュレーション条件でも、量子パイプラインは完璧なテスト精度を達成した。これは、小規模な実験においてノイズに対して強い耐性を示していることを示している。
• ライブラリは、量子および古典的ワークフローを1つの統一されたフレームワーク内でサポートするため、再現可能でモジュラーな実験が可能である。
• このツールキットは、既に先行研究でも使用されており、ハードウェア上での初期の量子 NLP 実験や、『アリスの不思議の国の冒険』から抽出された3,000件を超える解析済み文の大きな DisCoCat リソースの作成にも使われている。