[論文レビュー] Reducing overfitting in challenge-based competitions

Elias Chaibub Neto, Bruce Hoff+11 more|arXiv (Cornell University)|Jul 1, 2016

Sports Analytics and Performance参考文献 17被引用数 3

ひとこと要約

この論文は、特に小規模データセットを伴うチャレンジベースのコンペティションにおいて過学習を軽減するため、ベイジアンブートストラップを用いたラッパー・アルゴリズムの変種を提案する。公開リーダーボードスコアの代わりにブートストラップ推定値を公開することで、参加者が微小なスコアの変動に過学習するのを防ぎ、フリードマンのパラドックスにインspiredされた攻撃によって露呈される脆弱性を効果的に緩和する。この手法は、任意の性能指標をサポートする。

ABSTRACT

Over-fitting is a dreaded foe in challenge-based competitions. Because participants rely on public leaderboards to evaluate and refine their models, there is always the danger they might over-fit to the holdout data supporting the leaderboard. The recently published Ladder algorithm aims to address this problem by preventing the participants from exploiting willingly or inadvertently minor fluctuations in public leaderboard scores during model refinement. In this paper, we report a vulnerability of the Ladder that induces severe over-fitting of the leaderboard when the sample size is small. To circumvent this attack, we propose a variation of the Ladder that releases a bootstrapped estimate of the public leaderboard score instead of providing participants with a direct measure of performance. We also extend the scope of the Ladder to arbitrary performance metrics by relying on a more broadly applicable testing procedure based on the Bayesian bootstrap. Our method makes it possible to use a leaderboard, with the technical and social advantages that it provides, even in cases where data is scant.

研究の動機と目的

• 小規模サンプル回帰チャレンジにおけるラッパー・アルゴリズムの過学習に対する脆弱性を解消すること。
• 参加者がモデルの最適化過程で公開リーダーボードスコアの微小な変動に過学習することを防ぐこと。
• サンプルモーメントとして表現できない性能指標を含む、任意の性能指標へラッパー機構を拡張すること。
• 公開リーダーボードの利点（反復的モデル最適化やコミュニティ参加の促進）を損なわず、リーダーボードの整合性を維持すること。
• バイオメディカル研究などのデータが乏しい分野において、公正で信頼性の高いチャレンジベースのコンペティションを組織するための堅牢でスケーラブルなソリューションを提供すること。

提案手法

• 公開リーダーボードスコアの直接公開を、ブートストラップ推定による性能の推定に置き換えることで、微小なスコア変動を隠蔽する。
• ベイジアンブートストラップを用いて、連続するモデル提出間の性能差（Δs）の後部分布を生成する。
• 後部オッズ（PO）を用いたベイジアン仮説検定を適用し、新しいスコアを公開するか、それとも以前の最良スコアを維持するかを決定する。
• サンプルモーメントとして表現できない指標の場合は、非パラメトリックブートストラップリサンプリングを用いて、後部分布の近似を実現する。
• フリードマンのパラドックスにインspiredされたステップ・フォワードアタックをシミュレートし、ラッパーの脆弱性をテストし、改善された手法の有効性を検証する。
• 参加者に提示されるのは、統計的に有意な改善のみとなる、逐次的モデル最適化パイプラインにこの手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 小規模サンプル回帰設定において、ラッパー・アルゴリズムは悪意のある過学習攻撃に対して頑健にできるか？
• RQ2 ラッパー機構は、非線形的でかつモーメントに基づかない性能指標を含め、任意の性能指標をサポートできるように拡張できるか？
• RQ3 直接的なリーダーボードスコアの代わりにブートストラップ推定値を提供することで、過学習が効果的に軽減されるか、かつモデル最適化が妨げられないか？
• RQ4 ベイジアンブートストラップに基づくアプローチは、チャレンジベースのコンペティションにおいて公平性と信頼性をどの程度維持できるか？
• RQ5 この手法は、スコアの悪用によるデータ漏洩を防ぎながら、公開リーダーボードの社会的・技術的利点を維持できるか？

主な発見

• 元々のラッパー・アルゴリズムは、特にフリードマンのパラドックスにインspiredされた攻撃を受けると、小規模サンプル回帰問題において過学習の脆弱性を示す。
• 提案されたベイジアンブートストラップに基づく変種は、ブートストラップ推定値によって微小なスコア変動を隠蔽することで、過学習を効果的に防止する。
• ベイジアンブートストラップまたは非パラメトリックブートストラップを用いることで、任意の性能指標（サンプルモーメントとして表現できないものも含む）をサポートする。
• このアプローチは、参加者が公開リーダーボードデータに過学習するリスクを顕著に低減させながらも、モデルの最適化能力を維持する。
• ステップ・フォワードアタックを用いた実証的検証により、改善されたラッパー機構が、元のラッパーが失敗する状況においても過学習に耐性を持つことが示された。
• この手法により、バイオメディカル研究などのデータが乏しい分野でも、最終的なモデル評価の整合性を損なわず、公開リーダーボードの利用が可能になる。