[論文レビュー] Regularization Path of Cross-Validation Error Lower Bounds

Atsushi Shibagaki, Y. Suzuki+2 more|arXiv (Cornell University)|Feb 9, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用数 5

ひとこと要約

本稿では、交差検証（CV）誤差の下界を計算するための新しいフレームワークを提案する。このフレームワークにより、選択された正則化パラメータの性能に対する理論的近似保証が可能となる。正則化パラメータの関数としてCV誤差の下界を導出し、現在の解が最適CV誤差からどれほど近いかを定量的に評価できる。実験結果では、妥当な計算コストで近似的に最適なパラメータを効率的かつ正確に同定できることを示している。

ABSTRACT

Careful tuning of a regularization parameter is indispensable in many machine learning tasks because it has a significant impact on generalization performances. Nevertheless, current practice of regularization parameter tuning is more of an art than a science, e.g., it is hard to tell how many grid-points would be needed in cross-validation (CV) for obtaining a solution with sufficiently small CV error. In this paper we propose a novel framework for computing a lower bound of the CV errors as a function of the regularization parameter, which we call regularization path of CV error lower bounds. The proposed framework can be used for providing a theoretical approximation guarantee on a set of solutions in the sense that how far the CV error of the current best solution could be away from best possible CV error in the entire range of the regularization parameters. We demonstrate through numerical experiments that a theoretically guaranteed a choice of regularization parameter in the above sense is possible with reasonable computational costs.

研究の動機と目的

• 現在の正則化パラメータチューニング手法には理論的保証が不足しており、しばしばヒューリスティックであり、原則的指針に欠けるという問題に対処すること。
• 任意の正則化パラメータに対して、そのCV誤差が最良のCV誤差からどれほど離れているかを計算的に効率よく評価する方法を提供すること。
• 有限個の解（任意の方法で得られたものであっても）から、CV誤差が最小値からε以内であるようなε近似正則化パラメータを同定できることを保証すること。
• 正確な解だけでなく近似解に対しても適用可能であり、最適解にまで到達する必要がないため、最適化問題の完全な解法に比べて計算コストを低減すること。

提案手法

• 本フレームワークは、双対ギャップとマージンに基づく推定を用いて導出した新しい解析的下界を用いて、各正則化パラメータにおけるCV誤差の下界を計算する。
• この下界を複数の正則化パラメータにわたって評価することで正則化パスを構築し、理論的最小CV誤差を追跡する区分的関数を形成する。
• 特定の最適化アルゴリズムに依存せず、グリッドサーチやベイズ最適化などの任意のチューニング戦略から得られた既存の解（正確または近似）を活用できる。
• 所望の近似レベルεに対して、CV誤差がグローバル最小値からε以内であることが保証される正則化パラメータを同定するアルゴリズムを提供する。
• k-fold交差検証への適用を可能とするために、個々のfoldの下界を合算して全CV誤差のグローバル下界を導出する。
• 正則化パスを効率的に探索するためのパスフォローリングアルゴリズムを用い、上界と下界の信頼区間の大きさに基づいた停止条件を設定する。

実験結果

リサーチクエスチョン

• RQ1 選択された正則化パラメータのCV誤差に対して、最適CV誤差からの距離を理論的に保証できるか？
• RQ2 最適解にまで到達する必要なく、このような保証を効率的に計算できるか？
• RQ3 本フレームワークは正確な解と近似解の両方に対応可能か？また、その影響は計算効率と精度にどう現れるか？
• RQ4 ε近似正則化パラメータを同定する際の計算コストは何か？また、データセットサイズと所望の精度に伴いどのようにスケーリングされるか？
• RQ5 実世界のチューニングシナリオにおいて、安定性・スケーラビリティ・実用性の観点から、既存手法と比較して本手法はどのように差をつけるか？

主な発見

• 本フレームワークは、CV誤差下界の正則化パスを効果的に計算し、任意の正則化パラメータの性能に対する理論的近似保証を可能にした。
• ε = 0.1の場合、真の最適パラメータが未知であっても、CV誤差が最良の値から0.1以内であることが保証される解を同定できた。
• 小規模データセット（D1–D5）では数分で完了し、εとデータセットサイズに応じて計算コストが合理的に増加した。
• 大規模データセット（D9およびD10）では、正確な解を用いたε = 0の場合、100時間以上を要したが、ε > 0では依然として実行可能であった。
• 近似解（op5）を用いることで計算コストを大幅に削減した。例えば、D6でε = 0.01の場合、正確な解（op4）の31.17秒に対し17.16秒で処理が完了した。精度の劣化はほとんど見られず、良好な近似品質を維持した。
• 実運用においても本手法は頑健であり、複数のデータセットと設定において、選択されたε近似パラメータが一貫して低いCV誤差の上界を達成した。