[論文レビュー] Training a Large Scale Classifier with the Quantum Adiabatic Algorithm

Hartmut Neven, Vasil S. Denchev+2 more|ArXiv.org|Dec 4, 2009

Quantum Computing Algorithms and Architecture参考文献 13被引用数 60

ひとこと要約

本稿では、最適化問題を離散的・L0正則化最小二乗最小化として定式化することで、量子アディアバティックアルゴリズムを用いて大規模なバイナリ分類器を訓練する手法を提案する。単一グローバル最適化の限界を超えるために反復的・区分的最適化アプローチを導入し、AdaBoostと同等の性能を示しており、量子モンテカルロ（QMC）シミュレーションからの証拠により、量子アディアバティック手法がこのような問題を効率的に解ける可能性があることが示唆されている。

ABSTRACT

In a previous publication we proposed discrete global optimization as a method to train a strong binary classifier constructed as a thresholded sum over weak classifiers. Our motivation was to cast the training of a classifier into a format amenable to solution by the quantum adiabatic algorithm. Applying adiabatic quantum computing (AQC) promises to yield solutions that are superior to those which can be achieved with classical heuristic solvers. Interestingly we found that by using heuristic solvers to obtain approximate solutions we could already gain an advantage over the standard method AdaBoost. In this communication we generalize the baseline method to large scale classifier training. By large scale we mean that either the cardinality of the dictionary of candidate weak classifiers or the number of weak learners used in the strong classifier exceed the number of variables that can be handled effectively in a single global optimization. For such situations we propose an iterative and piecewise approach in which a subset of weak classifiers is selected in each iteration via global optimization. The strong classifier is then constructed by concatenating the subsets of weak classifiers. We show in numerical studies that the generalized method again successfully competes with AdaBoost. We also provide theoretical arguments as to why the proposed optimization method, which does not only minimize the empirical loss but also adds L0-norm regularization, is superior to versions of boosting that only minimize the empirical loss. By conducting a Quantum Monte Carlo simulation we gather evidence that the quantum adiabatic algorithm is able to handle a generic training problem efficiently.

研究の動機と目的

• 単一グローバル最適化の限界を超えて、強力なバイナリ分類器を量子アディアバティック最適化を用いてスケーラブルに訓練する手法の開発。
• 学習目的関数にL0ノルム正則化を統合し、コンactで一般化可能な分類器を促進すること。
• L0正則化を用いたグローバル最適化が、AdaBoostのような標準的なブースティング手法よりも優れた一般化性能を示すことを実証すること。
• 量子モンテカルロ（QMC）シミュレーションを通じて、量子アディアバティックアルゴリズムが大規模な訓練問題を効率的に解けるかの可能性を調査すること。
• 最適化フレームワークにペナルティ項を用いて、ゲシュタルト原理などの構造的事前知識を組み込むこと。

提案手法

• 弱分類器の重み付き和の符号として強い分類器を定式化し、L0ノルム正則化を施した2次損失関数を最小化する。
• D-Waveの量子アニーリングプロセッサに適した2次バイナリ最適化形式に最適化問題を再定式化し、高次項を処理するための補助変数を導入する。
• 反復的・区分的最適化戦略を適用：各反復で、グローバル最適化により弱分類器のサブセットを選択し、それらを連結して全分類器を構築する。
• エネルギーギャップの分析と、量子アディアバティックアルゴリズムの訓練問題への効率的適用可能性の評価のために、量子モンテカルロ（QMC）シミュレーションを用いる。
• 弱分類器のパラメータと同時に最適化を可能とし、共通の特徴を共有する複数の分類器を、共通の正則化項を含む共同目的関数を通じて同時に訓練可能にする。
• ゲシュタルト原理をペナルティ項として導入し、分類器設計における空間的連続性や対称性などの構造的事前知識を符号化する。

実験結果

リサーチクエスチョン

• RQ1 L0正則化を用いたグローバル最適化は、AdaBoostのようなグリーディブースティング手法よりも一般化性能および精度で優れるか？
• RQ2 QMCシミュレーションの結果が示唆するように、量子アディアバティックアルゴリズムは大規模なバイナリ分類問題を効率的に解けるか？
• RQ3 大規模分類器の訓練を、単一グローバル最適化の限界を超えてスケーラブルに実現するにはどうすればよいか？
• RQ4 ゲシュタルト原理のような構造的事前知識を、最適化フレームワークに効果的に組み込むことができるか？
• RQ5 L0正則化と経験的損失最小化を組み合わせた場合、得られる分類器の一般化誤差にどのような影響を与えるか？

主な発見

• 提案された反復的・区分的グローバル最適化手法は、数値実験においてAdaBoostと同等の性能を達成し、ベンチマークデータセットでも競争力のある結果を示した。
• 理論的分析により、L0正則化が経験的損失のみを最小化する手法と比較して、VC次元を低く抑え、一般化誤差の上限を改善することを示した。
• 量子モンテカルロ（QMC）シミュレーションの結果、量子アディアバティックアルゴリズムが一般的な訓練問題を効率的に解ける可能性があるという証拠が得られたが、大規模なインスタンスではギャップサイズの特定が依然として困難である。
• 複数の分類器を特徴共有で同時に訓練可能であり、必要なトレーニング例の数を削減し、精度と推論速度の向上が期待できる。
• ペナルティ項を用いてゲシュタルト原理を組み込むことで、一貫性のある形状やパターンを検出できる構造的で直感的な分類器を学習可能となった。
• 補助変数を用いた目的関数の再定式化により、現在のD-Waveプロセッサに適した2次表現が可能になったが、その代わりにキュービット数の増加を伴った。