[論文レビュー] Quantitative Overfitting Management for Human-in-the-loop ML Application Development with ease.ml/meter

Frances Ann Hubis, Wentao Wu+1 more|arXiv (Cornell University)|Jun 1, 2019

Anomaly Detection Techniques and Applications参考文献 27被引用数 5

ひとこと要約

本稿では、確率的保証付きの過学習サインを提供することで、人間が関与する機械学習開発における過学習を定量的に管理する ease.ml/meter というシステムを紹介する。適応的分析下で動的に最適な検証およびテストセットサイズを計算することで、リサンプリング手法と比較して最大8倍のラベル削減を実現しながら、厳密な統計的保証を維持する。

ABSTRACT

Simplifying machine learning (ML) application development, including distributed computation, programming interface, resource management, model selection, etc, has attracted intensive interests recently. These research efforts have significantly improved the efficiency and the degree of automation of developing ML models. In this paper, we take a first step in an orthogonal direction towards automated quality management for human-in-the-loop ML application development. We build ease. ml/meter, a system that can automatically detect and measure the degree of overfitting during the whole lifecycle of ML application development. ease. ml/meter returns overfitting signals with strong probabilistic guarantees, based on which developers can take appropriate actions. In particular, ease. ml/meter provides principled guidelines to simple yet nontrivial questions regarding desired validation and test data sizes, which are among commonest questions raised by developers. The fact that ML application development is typically a continuous procedure further worsens the situation: The validation and test data sets can lose their statistical power quickly due to multiple accesses, especially in the presence of adaptive analysis. ease. ml/meter addresses these challenges by leveraging a collection of novel techniques and optimizations, resulting in practically tractable data sizes without compromising the probabilistic guarantees. We present the design and implementation details of ease. ml/meter, as well as detailed theoretical analysis and empirical evaluation of its effectiveness.

研究の動機と目的

• 反復的で人間が関与する機械学習開発における検証およびテストセットサイズ決定のための原則的ガイドラインの欠如に対処すること。
• 複数のモデル反復において同一の検証およびテストセットを繰り返し使用することに起因する過学習リスクを管理すること。
• 適応的分析下で強い確率的保証を伴う実用的で取り扱いやすいデータサイズの推奨値を提供すること。
• 継続的機械学習開発における統計的妥当性を損なわずにテストセットの標本複雑性を低減すること。
• 最小限のユーザー負担で、過学習管理を実世界の機械学習アプリケーションライフサイクルにスムーズに統合すること。

提案手法

• システムは、検証およびテストセットに対する適応的クエリにおける統計的パワー損失を追跡するための段階的かつ非一様なメーターを用いる。
• 集中不等式および適応的分析理論を適用して、確率的保証付きで過学習リスクのタイトな境界を計算する。
• システムは、履歴的使用状況とユーザー定義の誤差許容度（ε）および信頼度（δ）に基づき、動的に必要なセットサイズを再計算する。
• 非一様誤差割り当てや段階的更新などの最適化技術を用いて、標本複雑性を低減する。
• 統計的パワーが損なわれた場合に使用制約を強制し、アラートを発動して新しい検証またはテストセットの提供を促す。
• クエリインターフェースを通じて、過学習サインと信頼区間を返すことで、機械学習開発ワークフローに統合する。

実験結果

リサーチクエスチョン

• RQ1 反復的機械学習開発における適応的分析下で統計的パワーを維持するための検証およびテストセットの必要なサイズをどのように計算できるか。
• RQ2 高い信頼度（1−δ）で信頼できる一般化を保証するための検証およびテストセットに必要な最小標本サイズは何か。
• RQ3 適応的クエリが存在する中で、テストセットの標本複雑性を低減しつつ確率的保証を維持するにはどうすればよいか。
• RQ4 最適化されたメーターは、ナーブなリサンプリングベースのアプローチに比べて、どの程度ラベル効率が向上するか。
• RQ5 非一様および段階的メーター戦略は、実世界の機械学習開発において、標準的手法に比べてどのように向上をもたらすか。

主な発見

• 非一様段階的メーターは、90%の信頼度（δ=0.1）で、必要なテストセットサイズを最小25,000ラベルまで低減し、理論的下限に近づく。
• 99%の信頼度（δ=0.01）では、非一様段階的メーターはわずか37,000ラベルで十分であり、リサンプリングベースの手法と比較して2.5倍から8倍の改善を達成する。
• 段階的メーターは、通常のメーターと比較して1.6倍から3倍の標本複雑性の改善を示しており、適応的サイズ再計算の利点を裏付ける。
• ease.ml/meter は、適応性のない理想状態に近い標本複雑性を達成しており、強力な実用的妥当性を示している。
• リサンプリング手法と比較して、最大8倍のラベル要件削減を達成しており、実世界の機械学習開発におけるコスト効率を顕著に向上させる。
• 実証的評価により、システムが大幅に削減された人間ラベル例の数を維持しながらも、強力な確率的保証を保持していることが確認された。