[論文レビュー] Quantum Algorithms and Lower Bounds for Linear Regression with Norm Constraints

Yanlin Chen, Ronald de Wolf|arXiv (Cornell University)|Oct 25, 2021

Quantum Computing Algorithms and Architecture参考文献 41被引用数 4

ひとこと要約

本稿では、量子最小値探索とアモニチュード推定を用いてフレンク・ウルフ法を加速することで、古典的手法に比べて次元dにおいて2乗の高速化を達成するラッソ回帰のための量子アルゴリズムを提示する。量子下界Ω(√d/ε¹.⁵)を確立し、ラッソ回帰における最初の多対数要因を除いてタイトな古典的下界を証明する。一方、リッジ回帰はdにおける線形スケーリングを超えて量子的高速化を示さない。

ABSTRACT

Lasso and Ridge are important minimization problems in machine learning and statistics. They are versions of linear regression with squared loss where the vector $θ\in\mathbb{R}^d$ of coefficients is constrained in either $\ell_1$-norm (for Lasso) or in $\ell_2$-norm (for Ridge). We study the complexity of quantum algorithms for finding $\varepsilon$-minimizers for these minimization problems. We show that for Lasso we can get a quadratic quantum speedup in terms of $d$ by speeding up the cost-per-iteration of the Frank-Wolfe algorithm, while for Ridge the best quantum algorithms are linear in $d$, as are the best classical algorithms. As a byproduct of our quantum lower bound for Lasso, we also prove the first classical lower bound for Lasso that is tight up to polylog-factors.

研究の動機と目的

• ノルム制約付きのラッソ回帰とリッジ回帰の量子的複雑度を調査すること。
• これらの基本的な機械学習問題において、量子アルゴリズムが古典的手法を上回る高速化を達成できるかどうかを特定すること。
• ラッソ回帰のタイトな量子的および古典的下界を確立し、εおよびd依存性に関する未解決の問題を解消すること。
• 量子サブルーチンを用いてフレンク・ウルフ法の1反復あたりのコストを低減する量子アルゴリズムを開発すること。
• ラッソ回帰に対する量子下界を証明し、これは多対数要因を除いて最初のタイトな古典的下界を示唆する。

提案手法

• フレンク・ウルフ法をベースとし、勾配情報と2dの選択肢から最良の方向を選択することで係数ベクトルを反復的に更新する。
• 各反復で、2dの方向のうち勾配が最も急な方向を探索するために量子最小値探索を適用する。
• 勾配成分の近似に量子アモニチュード推定を用い、誤差を制御することで、損失関数の勾配への効率的な量子アクセスを可能にする。
• 入力データポイント(xi, yi)へのコherentな量子クエリアクセスを可能にするために、量子ランダムアクセスメモリ（QRAM）モデルを導入する。
• フレンク・ウルフ法の1反復あたりのコストを、古典的場合のO(d)から、量子的場合のO(√d)に低減するが、反復回数はO(1/ε)を維持する。
• アドバーサリー法と合成定理を用いて、隠れた重み識別問題および対称的集合探索問題への還元により、量子下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 量子アルゴリズムは、次元dの観点から、古典的に可能な範囲を超えてラッソ回帰に高速化を達成できるか？
• RQ2 ラッソ回帰におけるε最小化子を求める最適な量子クエリ複雑度は何か？ そして、古典的境界と比較するとどうなるか？
• RQ3 リッジ回帰は量子的高速化を認めているか、それともその量子的複雑度は漸近的に古典的と同一か？
• RQ4 量子アルゴリズムはフレンク・ウルフ法の反復回数を減らすことができるか、それとも1反復あたりのコストの低下しか達成できないか？
• RQ5 ラッソ回帰の古典的下界は多対数要因を除いてタイトか？ また、量子技術はその証明を支援できるか？

主な発見

• ラッソ回帰の量子アルゴリズムは、時間複雑度Õ(√d/ε²)を達成し、古典的最良アルゴリズムのÕ(d/ε²)に比べてdにおいて2乗の高速化を実現する。
• ラッソ回帰の量子下界はΩ(√d/ε¹.⁵)であり、これは多対数要因を除いて、古典的下界Ω(d/ε²)を示唆する最初の下界である。
• リッジ回帰においては、最良の量子アルゴリズムと古典的アルゴリズムの両方がÕ(d/ε²)のスケーリングを示し、dまたはεにおける量子的高速化は認められない。
• 本稿では、ラッソ回帰の古典的下界が多対数要因を除いてタイトであることを証明し、古典的最適化における未解決問題を解決した。
• 対称的集合探索問題からリッジ回帰への還元により、リッジ回帰に対する量子クエリ下界Ω(d/ε)を確立し、古典的境界と一致する。
• 結果として、凸最適化における量子高速化は問題に強く依存することが示された： ラッソ回帰は1反復あたりのコストの量子加速を享受するが、リッジ回帰は享受しない。