[論文レビュー] Construction of non-convex polynomial loss functions for training a binary classifier with quantum annealing

Ryan Babbush, Vasil S. Denchev+3 more|arXiv (Cornell University)|Jun 17, 2014

Quantum Computing Algorithms and Architecture参考文献 21被引用数 7

ひとこと要約

本稿では、量子臨界冷却を用いた二値分類器の学習に非凸多項式損失関数を提案し、訓練データ数に依存しないキュービットのオーバーヘッドを持つ多項式制約なしバイナリ最適化（PUBO）形式に問題をマッピングする。この手法により、高いラベルノイズ下でもロバストな学習が可能となり、正則化リスク表現へのコンパイルが定数時間で行えるため、量子優位性への実用的道筋を提供する。

ABSTRACT

Quantum annealing is a heuristic quantum algorithm which exploits quantum resources to minimize an objective function embedded as the energy levels of a programmable physical system. To take advantage of a potential quantum advantage, one needs to be able to map the problem of interest to the native hardware with reasonably low overhead. Because experimental considerations constrain our objective function to take the form of a low degree PUBO (polynomial unconstrained binary optimization), we employ non-convex loss functions which are polynomial functions of the margin. We show that these loss functions are robust to label noise and provide a clear advantage over convex methods. These loss functions may also be useful for classical approaches as they compile to regularized risk expressions which can be evaluated in constant time with respect to the number of training examples.

研究の動機と目的

• 量子臨界冷却を用いた二値分類器の学習という課題に対処し、機械学習の目的関数をネイティブハードウェア互換形式にマッピングすること。
• 訓練例数に比例して増加するため、中規模の量子デバイスでは実用的でない、従来のQUBO埋め込みにおける高いキュービットオーバーヘッドを克服すること。
• マージンに関して多項式であり、PUBOとして表現可能な損失関数の定式化を実現し、量子臨界冷却ハードウェアへの効率的コンパイルを可能にすること。
• 非凸多項式損失が、現実のデータにおいて極めて重要なラベルノイズに対してロバストであることを示すこと。
• 訓練データ数に依存しない変数数を保証することで、量子臨界冷却を機械学習に実用的に導入すること。

提案手法

• マージン $ \gamma_i = y_i \mathbf{x}_i^T \mathbf{w} $ の関数として非凸多項式損失関数を定式化し、マージン空間において滑らかで微分可能であることを保証する。
• 得られた経験的リスク最小化問題を、現在の量子臨界冷却ハードウェアと互換性のあるPUBO（多項式制約なしバイナリ最適化）形式にマッピングする。
• D-Waveデバイスのネイティブイジングハミルトニアンに効率的に埋め込めるように、低次数（例：6次）の多項式に設計する。
• 実数値のマージンをバイナリ変数に変換する変数変換を用い、非凸最適化に量子臨界冷却を適用可能にする。
• 必要なバイナリ変数の数が訓練例数に依存しないことを保証し、従来手法の二次的スケーリングを回避する。
• 正則化リスク表現を、訓練データ数に対して定数時間で評価可能な形にコンパイルし、効率的な古典的事前処理とハイパーパramータチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸多項式損失関数を構築できるか。その経験的リスクがPUBOとして表現可能であり、量子臨界冷却ハードウェアに直接利用可能であるか。
• RQ2 訓練データ数に比例する従来のQUBO埋め込みと比較して、提案手法が顕著にキュービットオーバーヘッドを低減できるか。
• RQ3 これらの多項式損失は、凸代替手法と比較して、二値分類においてラベルノイズに対してどの程度優れたロバスト性を示すか。
• RQ4 得られた損失関数が、訓練例数に対して定数時間で評価可能であるか。これにより、効率的な古典的ハイパーパramータチューニングが可能か。
• RQ5 非凸リスク最小化のための量子臨界冷却を、過剰なリソースコストなしに実用的に活用する道筋があるか。

主な発見

• 提案された非凸多項式損失関数はPUBOとして表現可能であり、低オーバーヘッドで量子臨界冷却ハードウェアに直接マッピング可能である。
• 埋め込みに必要な変数数が訓練例数に依存しないため、従来手法の主要なスケーラビリティのボトル neck を解消した。
• 特にラベルが最大40％まで破損している状況でも、ラベルノイズに対してロバストである。凸手法を上回る性能を示した。
• 損失関数は正則化リスク表現にコンパイル可能であり、訓練例数に対して定数時間で評価可能である。これにより、効率的な古典的事前処理とハイパーパramータチューニングが可能となった。
• 交差検証の結果、最適なハイパーパramータ（例：$ \lambda $, $ \omega $, $ q $）はノイズレベルに大きく依存することが確認され、ノイズデータに適応可能な柔軟性を示した。
• Long-Servedio や Mease-Wyner のようなデータセットにおいて、$ \omega \approx 0.000001 $ から $ 0.000632 $ の6次損失が、高ノイズ下でも凸ベースラインを一貫して上回った。