[論文レビュー] Generalization despite overfitting in quantum machine learning models

Evan Peters, Maria Schuld|arXiv (Cornell University)|Sep 12, 2022

Quantum Computing Algorithms and Architecture参考文献 64被引用数 6

ひとこと要約

本稿では、量子回路構造（特にデータ符号化と状態準備）をフーリエモード選択と結びつけることで、量子機械学習モデルにおける良性過適合を示している。過パラメータ化された量子モデルがノイズのあるデータを補間しながらも良好に一般化できることを示している。主な結果は、キュービット数 n_q = ω(log n) が十分に大きい場合、一般化誤差が n が大きい極限で消えることである。これは、量子モデルにおける良性過適合の明確な例を示している。

ABSTRACT

The widespread success of deep neural networks has revealed a surprise in classical machine learning: very complex models often generalize well while simultaneously overfitting training data. This phenomenon of benign overfitting has been studied for a variety of classical models with the goal of better understanding the mechanisms behind deep learning. Characterizing the phenomenon in the context of quantum machine learning might similarly improve our understanding of the relationship between overfitting, overparameterization, and generalization. In this work, we provide a characterization of benign overfitting in quantum models. To do this, we derive the behavior of a classical interpolating Fourier features models for regression on noisy signals, and show how a class of quantum models exhibits analogous features, thereby linking the structure of quantum circuits (such as data-encoding and state preparation operations) to overparameterization and overfitting in quantum models. We intuitively explain these features according to the ability of the quantum model to interpolate noisy data with locally "spiky" behavior and provide a concrete demonstration example of benign overfitting.

研究の動機と目的

• 古典的ディープラーニングにおける良性過適合と同様に、量子機械学習モデルにおける過適合と一般化がどのように共存するかを理解すること。
• 特にデータ符号化と状態準備の量子回路設計が、フーリエモード制御を通じて良性過適合を可能にする役割を特定すること。
• フーリエ解析を用いて、量子モデルの複雑さと過パラメータ化、一般化誤差との理論的枠組みを確立すること。
• スパイク的挙動と滑らかな信号回復のバランスを取ることで、一般化誤差が漸近的に消える量子モデルの明確な例を提供すること。

提案手法

• 古典的補間フーリエ特徴モデルの一般化誤差バウンドを導出し、良性過適合の基盤を確立する。
• 古典的フーリエモデルに類似した構成を持つ量子モデルを構築し、量子回路要素（例：データ符号化、状態準備）をフーリエモード選択に対応付ける。
• バンド制限されたターゲット関数を用意し、スペクトル知識を符号化する状態 |Γ⟩ を定義し、特徴重みを所望のモードに偏らせる。
• データ符号化戦略におけるハミルトニアンの冗長性が、スパイク性と一般化のバランスに与える影響を分析する。
• フーリエ解析を適用してバイアスとバイアスの項をバウンドし、両者がそれぞれ O(1/n²) および O(1/n + n/d) のスケールで変動することを示す。
• d = ω(n)、すなわちキュービット数がデータサイズの対数関数よりも速く増加する場合、一般化誤差が n が大きい極限で消えることを示している。

実験結果

リサーチクエスチョン

• RQ1 量子機械学習モデルにおいて、複雑なモデルがノイズのあるデータを補間しながらも一般化できる良性過適合が発生するか？
• RQ2 データ符号化や状態準備などの量子回路要素が、フーリエモード選択および一般化挙動にどのように関連するか？
• RQ3 過パラメータ化が、補間が行われるにもかかわらず量子モデルにおける一般化を可能にする役割は何か？
• RQ4 標準的なデータ符号化戦略におけるハミルトニアンスペクトルの冗長性が、スパイク性と信号回復のトレードオフに与える影響は何か？
• RQ5 一般化誤差が漸近的に消えるように、一般化誤差がゼロの訓練誤差を持つ量子モデルを構築できるか？

主な発見

• 最小フロベニウスノルム補間量子モデルのバイアスは O(1/n²) のスケールで変動し、ノイズ吸収による誤差の強力な抑制を示している。
• バイアスは O(1/n + n/d) のスケールで変動し、d = ω(n) の場合、すなわちキュービット数が n に対して対数関数よりも速く増加する場合に消える。
• モデルの次元 d が n より速く増加する場合、バイアスとバイアスの両方が n が大きい極限で減少し、良性過適合が達成される。
• 式 (241) を満たす状態準備ユニタリ U により、最適特徴重み ν_k^opt が望ましいモード Ω_{n_0} 側に偏った分布を形成し、他のモードに対しては長い細長い尾部が形成される。
• ターゲット関数のスペクトル知識を組み込んだ |Γ⟩ の選択により、インダクティブバイアスが導入されるが、今後は同様の性質を持つデータに依存しない |Γ⟩ の探索も可能である。
• 分析により、データ符号化におけるハミルトニアンの冗長性が一般化トレードオフに強く影響することが明らかになった。他の回路設計選択では、この影響を打ち消すのは困難である。