[論文レビュー] Robust Classification with Adiabatic Quantum Optimization

Vasil S. Denchev, Nan Ding+2 more|arXiv (Cornell University)|May 5, 2012

Machine Learning and Algorithms参考文献 28被引用数 25

ひとこと要約

本稿では、ラベルノイズ下でのロバストなバイナリ分類のための非凸でハードウェア互換性のある損失関数 q-loss を提案する。q-loss は、アディアバティック量子最適化（AQO）に適した、非凸な二次無制約バイナリ最適化（QUBO）問題として定式化されている。古典的ヒューリスティックソルバを量子ハードウェアの代理として用いることで、複数のノイズのあるデータセットにおいて、凸および非凸のベースラインと比較して顕著に低いテスト誤差を達成し、ラベルノイズに対して優れたロバスト性を示している。

ABSTRACT

We propose a non-convex training objective for robust binary classification of data sets in which label noise is present. The design is guided by the intention of solving the resulting problem by adiabatic quantum optimization. Two requirements are imposed by the engineering constraints of existing quantum hardware: training problems are formulated as quadratic unconstrained binary optimization; and model parameters are represented as binary expansions of low bit-depth. In the present work we validate this approach by using a heuristic classical solver as a stand-in for quantum hardware. Testing on several popular data sets and comparing with a number of existing losses we find substantial advantages in robustness as measured by test error under increasing label noise. Robustness is enabled by the non-convexity of our hardware-compatible loss function, which we name q-loss.

研究の動機と目的

• 凸損失関数がラベルノイズに対して感受性が高いため、意思決定境界を誤って導くという、よく知られた限界を是正すること。
• 現在のアディアバティック量子最適化（AQO）ハードウェアの工学的制約、特に QUBO および低ビット深度のバイナリパラメータ表現に適合する非凸損失関数を設計すること。
• ラベルノイズが存在する状況で、AQO に適合する非凸最適化が、凸法よりも優れた一般化性能を発揮することを示すこと。
• 古典的ソルバを量子ハードウェアの代理として用いることで、提案された q-loss のロバスト性を実証的評価すること。

提案手法

• q-loss 関数は、大きな負のマージンに対して罰則が無限に増大するという凸損失の主な失敗モードを回避する非凸でマージンベースの損失として設計されている。
• 学習問題は、アディアバティック量子最適化ハードウェアへの直接マッピングを可能にする二次無制約バイナリ最適化（QUBO）問題として定式化されている。
• 既存の量子プロセッサのハードウェア制約を満たすために、モデルパラメータは低ビット深度のバイナリ展開で表現されている。
• 実世界のデータセットでの性能評価のために、量子ハードウェアの代わりに古典的ヒューリスティックソルバ（例：タブー探索）が使用されている。
• マージン ≤ q であるインスタンスを特定することで、誤標記された例を特定し、注入されたラベル反転と比較できる。
• 全手法間の公平な比較を保証するため、標準的な 10 折り交差検証を用いてハイパーパramータをチューニングしている。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズに対してロバストであり、かつアディアバティック量子最適化ハードウェアと互換性を持つ非凸損失関数を設計できるか？
• RQ2 QUBO 形式の学習において、q-loss はラベルノイズが増加する状況で、凸および非凸のベースラインと比較してテスト誤差が低くなるか？
• RQ3 q-loss 関数は、実世界のデータセットにおける誤標記された例を効果的に特定し、重みを下げることができるか？
• RQ4 ノイズのある状況で、AQO に適合する非凸最適化は、古典的凸最適化に比べて測定可能なロバスト性の優位性を示すか？

主な発見

• q-loss は、複数のベンチマークデータセットにおいて、ラベルノイズが増加する状況で、すべてのベースライン手法（例：二乗損失、シグモイド、プロビット）および非凸手法（例：ラムプ損失）と比較して顕著に低いテスト誤差を達成している。
• 特に高ノイズレベルにおいても、q-loss の性能は一貫して優れており、古典的ソルバがしばしばグローバル最小値に到達できないという計算上の困難さを示唆している。
• q-loss は、注入されたラベル反転の顕著な割合（例：ベン図で 60–80％ の重複）を回復しており、誤標記された例の検出能力を示している。
• シグモイドやプロビットとは異なり、AQO に適合する形式が欠如しているが、q-loss は、新興の量子アディアバティック最適化ハードウェアへのデプロイに特化して最適である。
• 他の非凸損失とは異なり、q-loss の定式化は非凸性によるロバスト性を実現しながらも、QUBO 形式で計算的に扱いやすく、凸緩和を必要としない。