[論文レビュー] Contextuality and inductive bias in quantum machine learning

Joseph E. Bowles, Victoria J Wright+3 more|arXiv (Cornell University)|Feb 2, 2023

Quantum Computing Algorithms and Architecture被引用数 9

ひとこと要約

この論文は、量子文脈性を機械学習の帰納的バイアスに結びつける一般的な枠組みを開発し、文脈的マルチタスクモデルを定義し、文脈性が表現力を高め得ることを示し、 toy 設定では、線形に保存されるラベルバイアスを符号化して量子モデルが古典的代替を上回ることができる。

ABSTRACT

Generalisation in machine learning often relies on the ability to encode structures present in data into an inductive bias of the model class. To understand the power of quantum machine learning, it is therefore crucial to identify the types of data structures that lend themselves naturally to quantum models. In this work we look to quantum contextuality -- a form of nonclassicality with links to computational advantage -- for answers to this question. We introduce a framework for studying contextuality in machine learning, which leads us to a definition of what it means for a learning model to be contextual. From this, we connect a central concept of contextuality, called operational equivalence, to the ability of a model to encode a linearly conserved quantity in its label space. A consequence of this connection is that contextuality is tied to expressivity: contextual model classes that encode the inductive bias are generally more expressive than their noncontextual counterparts. To demonstrate this, we construct an explicit toy learning problem -- based on learning the payoff behaviour of a zero-sum game -- for which this is the case. By leveraging tools from geometric quantum machine learning, we then describe how to construct quantum learning models with the associated inductive bias, and show through our toy problem that they outperform their corresponding classical surrogate models. This suggests that understanding learning problems of this form may lead to useful insights about the power of quantum machine learning.

研究の動機と目的

• 量子の帰納的バイアスを自然に活用するデータ構造の探索を動機づける。
• 機械学習における一般化文脈性の枠組みと文脈的学習モデルの概念を定義する。
• 文脈性、操作的同等性、帰納バイアスを表現力と学習性能に結びつける。
• 文脈性が非文脈的モデルを制約し、量子アプローチを必要とする可能性のあるデータ配置を特定する。
• バイアスを符号化する量子モデルが古典的代替手段を上回る toy 問題を通じて実証する。

提案手法

• 学習モデルのための一般化文脈性（操作統計、準備、効果）の枠組みを導入する。
• マルチタスク学習の操作的シナリオを定義し、オントロジー模型によって非文脈性を形式化する。
• ラベル空間の線形保存バイアスと非文脈的に学習可能な分布への制約を結ぶ主要な結果を確立する。
• 帰納バイアスを符号化する2つの量子アンサatz スキームを説明する：状態ベースと測定ベースのアプローチ。
• 非文脈的モデルの表現力の限界を証明するために、石-紙-はさみの学習問題を構築する。
• 幾何的量子機械学習ツールを用いてバイアスに合わせた量子モデルを設計し、古典的サロゲートと比較する。

Figure 1: A. An example of the type of learning problem we consider in this work. Labels are generated for input training data $\boldsymbol{x}_{i}$ via a conditional process $P(\boldsymbol{y}_{i}|\boldsymbol{x}_{i})$ . Here, the labels take the form $\boldsymbol{y}_{i}=(y_{i}^{(1)},y_{i}^{(2)},y_{i}

実験結果

リサーチクエスチョン

• RQ1 機械学習における学習モデルの適切な文脈性の概念とは何か？
• RQ2 ラベル空間における線形保存則を符号化する帰納的バイアスは、非文脈的モデルの表現力にどう影響するか？
• RQ3 構造化タスクにおいて、文脈性に基づく帰納的バイアスを持つ量子モデルは、古典的代替手段よりも優れた一般化を生み出せるか？
• RQ4 文脈性に触発されたバイアスが正確な学習にとって必要な資源として現れる学習シナリオはどれか？

主な発見

• 文脈性は表現力と関連している：帰納的バイアスを符号化する文脈的モデルクラスは、非文脈的なものよりも表現力が高い傾向がある。
• ラベル空間の線形保存量は操作的同等性を課し、非文脈的モデルを制約し、一般化を制限する可能性がある。
• おもちゃの石-紙-ハサミ問題は、報酬挙動を学習する際の非文脈的モデルの表現力に対する厳密な境界を示す。
• 状態構造または測定設計を介してバイアスを符号化する量子学習モデルは、 toy タスクにおいて対応する古典的代替モデルを上回ることがある。
• 数値的証拠は、文脈性に inspired バイアスを持つ量子モデルが正則化下で古典的代替より一般化誤差を低くすることを示す。

Figure 2: A. (top) A prepare-and-measure scenario. A preparation S is a procedure (a list of actions) that a user carries out. In this example, the procedure is to input the data $\boldsymbol{x}$ into the machine learning model. (bottom) An effect E is another procedure that additionally has an obse