[論文レビュー] Fast Cross-Validation via Sequential Testing

Tammo Krueger, Danny Panknin+1 more|arXiv (Cornell University)|Jun 11, 2012

Gaussian Processes and Bayesian Inference参考文献 53被引用数 23

ひとこと要約

本稿では、逐次的統計的検定を用いて性能が著しく劣るパラメータ設定を早期に除外することで、増加するデータサブセット上で逐次的にパラメータ設定を評価することにより、モデル選択を高速化する手法であるFast Cross-Validation via Sequential Testing (CVST) を提案する。この手法は、完全な交差検証と比較して計算時間を最大120倍まで短縮しつつ、精度の損失は最小限に抑えられ、逐次分析を活用することで統計的パワーを維持する。

ABSTRACT

With the increasing size of today's data sets, finding the right parameter configuration in model selection via cross-validation can be an extremely time-consuming task. In this paper we propose an improved cross-validation procedure which uses nonparametric testing coupled with sequential analysis to determine the best parameter set on linearly increasing subsets of the data. By eliminating underperforming candidates quickly and keeping promising candidates as long as possible, the method speeds up the computation while preserving the capability of the full cross-validation. Theoretical considerations underline the statistical power of our procedure. The experimental evaluation shows that our method reduces the computation time by a factor of up to 120 compared to a full cross-validation with a negligible impact on the accuracy.

研究の動機と目的

• 大規模な機械学習における完全なグリッドサーチ交差検証の高い計算コストに対処すること。
• すべてのパラメータ設定を全検証するのを避ける、自動的かつ統計的に妥当な手法を開発すること。
• 性能が劣る設定を早期に終了させつつ、最適なパラメータセットを同定できる能力を維持すること。
• 計算量を削減しても、完全な交差検証と同等の統計的パワーを維持すること。

提案手法

• 手法は、小さな初期サンプルから始めて、逐次的に増加するデータサブセット上でパラメータ設定を評価する。
• 各段階でノンパラメトリックな統計的検定を用い、性能が著しく劣る設定を特定し、早期に除外する。
• 安全領域メカニズムにより、各設定の許容可能な失敗回数を制限し、ランダムな変動による過剰な除外を防ぐ。
• 逐次分析の原則（Wald, 1947）を応用し、性能の傾向に応じて停止基準を動的に調整する。
• 最良のパラメータ設定の早期収束を監視する停止基準を導入し、さらに計算量を削減する。
• パラメータ設定の性能を増加するデータサイズのスケールで追跡するために、トレース行列と性能行列を用いる。

実験結果

リサーチクエスチョン

• RQ1 交差検証の計算負荷を、モデル選択の精度を損なわずに軽減することは可能か？
• RQ2 性能が劣るパラメータ設定を、統計的信頼性を保ちつつ体系的に早期に除外することは可能か？
• RQ3 増大するデータサブセットを用いることで、最適なパラメータ設定の選択への収束にどのような影響を与えるか？
• RQ4 逐次的検定をどのように適応すれば、誤検出率を制御し、潜在的に最適な設定が過剰に除外されるのを防げるか？

主な発見

• 提案されたCVST手法は、実世界および合成データセットにおいて、完全な交差検証と比較して計算時間を最大120倍まで短縮した。
• この手法は、完全な交差検証と同等の統計的パワーを維持しており、選択されたモデルの精度にほとんど影響を及えない。
• 最適なパラメータ設定は、完全なデータセットの一部しか使用しなくても、一貫して同定可能である。これは、増加するサブセット上で逐次評価が行われたためである。
• 安全領域メカニズムは、より多くのデータで改善する可能性がある設定が過剰に除外されるのを効果的に防いでいる。
• 理論的分析により、学習アルゴリズムの時間計算量にやや緩い正則性条件が課せられる限り、この手法が漸近的に最適性を維持することが確認された。
• 計算予算は、必要なステップ数の閉形式近似を導出することで効率的に管理され、時間制限内に収まるように保証された。