[論文レビュー] Train on Validation: Squeezing the Data Lemon

Guy Tennenholtz, Tom Zahavy+1 more|arXiv (Cornell University)|Feb 16, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 5

ひとこと要約

この論文は、モデル選択の安定性を維持しながらモデル性能を向上させるために、検証セットの制御された割合を学習に使用する原理的で明確な手法を提案する。確率 $ p \in [0,1] $ で検証例をサンプリングすることで、性能向上と選択バイアスの間の連続的で制御可能なトレードオフが可能となり、安定なアルゴリズムに対して理論的保証が得られ、MNIST や CIFAR-10 においても実験的に性能向上が確認され、DenseNet などの最先端モデルにも適用可能である。

ABSTRACT

Model selection on validation data is an essential step in machine learning. While the mixing of data between training and validation is considered taboo, practitioners often violate it to increase performance. Here, we offer a simple, practical method for using the validation set for training, which allows for a continuous, controlled trade-off between performance and overfitting of model selection. We define the notion of on-average-validation-stable algorithms as one in which using small portions of validation data for training does not overfit the model selection process. We then prove that stable algorithms are also validation stable. Finally, we demonstrate our method on the MNIST and CIFAR-10 datasets using stable algorithms as well as state-of-the-art neural networks. Our results show significant increase in test performance with a minor trade-off in bias admitted to the model selection process.

研究の動機と目的

• データが限られる中規模のデータセットにおいて、厳密なデータ分割によって生じる性能低下を是正すること。
• モデル選択の信頼性を保つ制御された条件下で、検証データを学習に使用することへのタブーを緩和すること。
• 性能と選択バイアスの間の連続的で制御可能なトレードオフを実現できる、理論的根拠に基づいた検証データ再利用手法を提供すること。
• MNIST や CIFAR-10 といった標準ベンチマークにおいて、この手法の有効性を示すこと。

提案手法

• 各検証例を確率 $ p \in [0,1] $ でサンプリングし、それを学習セットに含めることで、部分的なデータ再利用を可能にする。
• 理論的分析により、平均検証安定性を満たすアルゴリズムは、このサンプリング条件下でも検証安定性を保つことが証明され、選択バイアスが有界であることが保証される。
• SGD などのオンライン最適化アルゴリズムに対応する、バッチごとのサンプリング手順を導入し、学習中に全データセットを効果的に活用できるようにする。
• パラメータ $ p $ の選択のためのヒューリスティックを提案し、検証性能曲線の「へこみ（knee）」付近の値を選択することで、バイアスと性能のバランスを最適化する。
• Thresholdout などの適応的検証手法とも互換性があり、広範な適応的データ解析パイプラインへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 選択バイアスが深刻に生じることなく、検証データを安全に再利用して学習することは可能か？
• RQ2 検証セットの一部を学習に使用する場合、モデル選択がどの条件下で信頼性を保てるか？
• RQ3 モデル選択において、性能向上と選択バイアスの間の連続的で制御可能なトレードオフを実現するにはどうすればよいか？
• RQ4 この手法は、MNIST や CIFAR-10 といった標準ベンチマークにおいて、どの程度性能向上を達成できるか？

主な発見

• MNIST や CIFAR-10 において、モデル選択バイアスの増加がわずかである一方で、テスト性能の顕著な向上が達成された。
• 安定なアルゴリズムでは、$ p $ の値が高く（例：0.5 まで）ても、理論的安定性保証によりモデル選択バイアスが生じないことが示された。
• DenseNet における実験から、検証セットからのサンプリングが測定可能な性能向上をもたらすことが確認され、最先端の深層ネットワークへの適用可能性が示された。
• 検証曲線の「へこみ」は、$ p $ の選択に実用的なヒューリスティックを提供し、性能とバイアスのバランスを効果的に最適化できる。
• 理論的結果により、平均検証安定性を満たすアルゴリズムは、サンプリング下でも安定性を保つことが示され、安全なデータ再利用が可能であることが裏付けられた。