[論文レビュー] Totally Corrective Boosting with Cardinality Penalization

Vasil S. Denchev, Nan Ding+3 more|arXiv (Cornell University)|Apr 7, 2015

Quantum Computing Algorithms and Architecture参考文献 22被引用数 5

ひとこと要約

本稿では、基数罰則（CP）を用いてスパarsityを明示的に制御する完全に是正的なブースティング手法TotalQBoostを提案する。非凸で組合せ最適化問題を解くことで、はるかにスパースで高精度なモデルを実現する。古典的ヒューリスティック最適化手法を量子ハードウェアの代用として用いても、実験ではCPに基づくモデルが、ベンチマークデータセット上でL1正則化および早期停止ベースラインと比較して、最大67.65%のスパarsity向上と最大25%の汎化性能向上を達成した。

ABSTRACT

We propose a totally corrective boosting algorithm with explicit cardinality regularization. The resulting combinatorial optimization problems are not known to be efficiently solvable with existing classical methods, but emerging quantum optimization technology gives hope for achieving sparser models in practice. In order to demonstrate the utility of our algorithm, we use a distributed classical heuristic optimizer as a stand-in for quantum hardware. Even though this evaluation methodology incurs large time and resource costs on classical computing machinery, it allows us to gauge the potential gains in generalization performance and sparsity of the resulting boosted ensembles. Our experimental results on public data sets commonly used for benchmarking of boosting algorithms decidedly demonstrate the existence of such advantages. If actual quantum optimization were to be used with this algorithm in the future, we would expect equivalent or superior results at much smaller time and energy costs during training. Moreover, studying cardinality-penalized boosting also sheds light on why unregularized boosting algorithms with early stopping often yield better results than their counterparts with explicit convex regularization: Early stopping performs suboptimal cardinality regularization. The results that we present here indicate it is beneficial to explicitly solve the combinatorial problem still left open at early termination.

研究の動機と目的

• 従来のブースティングにおける早期停止による暗黙的なスパarsityの限界を克服するため、基数罰則（CP）を用いてスパarsityを明示的に制御するブースティングアルゴリズムの開発。
• 組合せ的CP問題を直接解くことで、標準的なL1正則化や早期停止ブースティングと比較して、より優れたスパarsityと汎化性能を実現できることの実証。
• 量子最適化の可能性を評価するため、古典的ヒューリスティックを用いて量子的性能を模擬し、CPブースティング問題の解法における量子最適化の潜在的性能を検証する。
• 未正則化ブースティングにおける早期停止がなぜしばしば凸正則化を上回るのかを解明し、これが最適でない基数正則化であるとフレーミングする。
• Google Project Glassのようなリソース制約のあるデバイス向けのコンパクトな段階的検出器への実用的応用を検証する。

提案手法

• ブースティングを、重みwの線形項と基数罰則λ·card(w)を含む正則化リスク最小化問題として定式化する。制約条件w ≥ 0のもとで、損失の和に加え、罰則項を加算して最小化する。
• 完全に是正的なアプローチを採用し、各イテレーションですべての有効な弱仮説を更新する。これは、1つの座標のみを更新する是正的アルゴリズムとは異なり、t次元の部分問題を解く。
• ラグランジュ双対性を用いて双対関数を導出し、列生成法を用いて反復的にモデルを構築する。
• 組合せ最適化問題（NP困難）であるCP部分問題を解くために、古典的ヒューリスティック最適化手法を用いて量子最適化を模擬する。
• 標準ベンチマークデータセットおよびウェアラブルデバイス向けの実世界の段階的検出器を用いて、汎化誤差、スパarsity、学習性能を比較評価する。
• 解のパレートフロンティアを探索し、スパarsityと汎化誤差の間で優れたトレードオフを達成する点を同定する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングにおける明示的基数罰則が、L1正則化や早期停止ブースティングと比較して、よりスパースで高精度なモデルを実現できるか？
• RQ2 組合せ的CP問題を直接解くことで、早期停止による劣化した正則化と比較して、より優れた汎化性能とスパarsityが得られるか？
• RQ3 古典的ヒューリスティックソルバーは、将来の量子最適化ハードウェアの性能をどの程度正確に模擬できるか？
• RQ4 なぜ未正則化ブースティングにおける早期停止がしばしば凸正則化を上回るのか？CPに基づく最適化はこの問題をどのように解消するか？
• RQ5 CPブースティングは、モバイルやウェアラブルデバイスのようなリソース制約環境で実用的利点をもたらすか？

主な発見

• ベンチマークデータセットでは、CPブースティングが、同等の汎化誤差を達成するL1正則化モデルと比較して、2.5%から67.65%のスパarsity向上を達成した。
• CPポイントがすべてのL1CG/UCGベースラインを上回ったケースでは、最大25%の汎化性能向上が観察された。特にflare solar（25%）およびtwonorm（9.8%）データセットで顕著だった。
• TotalQBoost（E）と古典的L1CG/UCG（B）の比較では、同一の基数において、経験的リスクと学習誤差でそれぞれ1.61%および2.05%のわずかな劣化にとどまり、早期停止が弱い形でのCPであることが示された。
• TotalQBoost（E）とUCG（D）の比較では、経験的リスクで76.19%、学習誤差で86.99%のケースでEがDを上回り、CP最適化がより優れた解をもたらすことが示された。
• Google Project Glassでは、CPブースティングを用いた段階的検出器が、固定再現率のもとで誤検出数を15–45%削減し、メモリおよびエネルギー制約のある環境での実用的利点を示した。
• 結果から、早期停止は最適でない基数正則化を実行しており、CP問題を明示的に解くことで、スパarsityと汎化性能の両面で顕著な向上が達成されることが確認された。