[論文レビュー] Sequential algorithmic modification with test data reuse

Jean Feng, Gene Pennello+4 more|arXiv (Cornell University)|Mar 21, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿は、再利用されたテストデータ上で逐次的に変更された機械学習アルゴリズムを検証するための、新しい逐次的拒否的図的手順（SRGP）を提案する。アルファリサイクリングと相関に配慮した誤差制御を活用することで、統計的パワーを向上させ、特に小標本の医療分野において、有益な変更の承認率を高める。

ABSTRACT

After initial release of a machine learning algorithm, the model can be fine-tuned by retraining on subsequently gathered data, adding newly discovered features, or more. Each modification introduces a risk of deteriorating performance and must be validated on a test dataset. It may not always be practical to assemble a new dataset for testing each modification, especially when most modifications are minor or are implemented in rapid succession. Recent works have shown how one can repeatedly test modifications on the same dataset and protect against overfitting by (i) discretizing test results along a grid and (ii) applying a Bonferroni correction to adjust for the total number of modifications considered by an adaptive developer. However, the standard Bonferroni correction is overly conservative when most modifications are beneficial and/or highly correlated. This work investigates more powerful approaches using alpha-recycling and sequentially-rejective graphical procedures (SRGPs). We introduce novel extensions that account for correlation between adaptively chosen algorithmic modifications. In empirical analyses, the SRGPs control the error rate of approving unacceptable modifications and approve a substantially higher number of beneficial modifications than previous approaches.

研究の動機と目的

• 単一のテストデータセットを再利用する際の逐次的MLアルゴリズムの変更を検証する課題に対処すること。これは、過学習や第1種の誤り率の上昇を引き起こすリスクを伴う。
• 相関のある、もしくは主に有益な変更に対して、ボンフェローニ補正のような従来の手法よりも統計的パワーを向上させること。
• 反復的に選択されたアルゴリズム的変更の間の相関を考慮した、反事後仮説の観測を必要としない妥当な仮説検定手順を開発すること。
• 大規模なテストデータセットが不足する医療AI分野のような小標本ドメインで、実用的で高パワーな検定を可能にすること。
• アルゴリズム開発の適応的プロセスに強く耐性を持ちながら、アルファリサイクリングと図的モデル構造を用いて厳密な誤差率制御を維持する手順を設計すること。

提案手法

• 共通のテストデータセット上で逐次的に適応的に選択されたアルゴリズム的変更を検証するために、アルファリサイクリングを適用する2つの新規SRGP（fsSRGPとpresSRGP）を提案する。
• 情報漏洩を制限し、過学習のリスクを低減するために、承認／否認の2値のテスト結果を用い、仮説の木構造を形成する。
• fsSRGPでは、木構造内の観測された仮説間の相関を考慮するため、固定順序検定手順を適用し、ボンフェローニ補正よりもパワーを向上させる。
• 開発者が事前に学習手順を指定することを要件とするpresSRGPを導入。適応的変更と事前指定変更との類似性を活用し、相関に基づく誤差制御を強化する。
• 有意水準の閾値を、木構造内の未検定（反事後）の仮説を観測することなく計算可能な、一貫性のある閉形式検定手順を設計する。
• 仮説の図的モデル表現を活用し、変更の系列全体にわたり、アルファレベルを効率的に割り当て・リサイクルする。

実験結果

リサーチクエスチョン

• RQ1 単一の再利用テストデータセット上で複数の適応的アルゴリズム的変更を検証するための妥当な統計的枠組みを設計できるか？
• RQ2 変更が相関的である、もしくは主に有益な場合に、標準的なボンフェローニ補正よりも統計的パワーをどのように向上させられるか？
• RQ3 すべての仮説が観測されない逐次的検定フレームワークにおいて、アルファレベルを効果的にリサイクルできるか？
• RQ4 アルゴリズム的変更間の相関をどの程度活用すれば、有益な変更の検出を高められるか？
• RQ5 モデル開発者に対する敵対的仮定を必要とせずに、厳密な誤差制御を維持できるか？

主な発見

• 提案されたSRGP手法、特にpresSRGPは、ボンフェローニ補正のような従来手法よりも、顕著に多くの有益なアルゴリズム的変更を承認する。
• fsSRGPは、木構造内の観測された変更間の相関を考慮することで、標準的なボンフェローニ補正よりも高いパワーを達成する。
• presSRGP手順は、適応的変更と事前指定変更との類似性を活用し、パワーをさらに向上させ、実証的評価においてfsSRGPおよびボンフェローニ補正を上回る性能を示す。
• 両方のSRGP手法は、適応的開発に対しても強固な家族-wise誤差率制御を維持し、不適切な変更の誤った承認を防ぐ。
• これらの手法は小標本設定でも有効であり、データ収集が高コストな実世界の医療AIアプリケーションに適している。
• 報告されるのは承認／否認の2値結果のみであるため、情報漏洩を最小限に抑え、過学習のリスクを低減する有効な推論が可能になる。