[論文レビュー] Model Similarity Mitigates Test Set Overuse

Horia Mania, J. J. Miller+3 more|arXiv (Cornell University)|May 29, 2019

Machine Learning and Data Classification参考文献 17被引用数 4

ひとこと要約

この論文は、モデルの類似性——予測が高相関を持つ——が、テストセットへの過学習を緩和し、従来の一般化境界が許容するよりもはるかに多くの再利用を可能にすると提案している。類似性を考慮した一般化境界を導入することで、著者らは、高いモデル類似性が、安全なテストセット再利用回数を最大で10,000倍にまで増加させられることを示している。これは、ImageNetのようなベンチマークが広範な再利用にもかかわらず依然として有効である理由を説明している。

ABSTRACT

Excessive reuse of test data has become commonplace in today's machine learning workflows. Popular benchmarks, competitions, industrial scale tuning, among other applications, all involve test data reuse beyond guidance by statistical confidence bounds. Nonetheless, recent replication studies give evidence that popular benchmarks continue to support progress despite years of extensive reuse. We proffer a new explanation for the apparent longevity of test data: Many proposed models are similar in their predictions and we prove that this similarity mitigates overfitting. Specifically, we show empirically that models proposed for the ImageNet ILSVRC benchmark agree in their predictions well beyond what we can conclude from their accuracy levels alone. Likewise, models created by large scale hyperparameter search enjoy high levels of similarity. Motivated by these empirical observations, we give a non-asymptotic generalization bound that takes similarity into account, leading to meaningful confidence bounds in practical settings.

研究の動機と目的

• 理論的期待とは対照的に、広範な再利用にもかかわらずImageNetのようなテストセットがなぜ有効であるかを説明すること。
• 人気のあるベンチマークおよびハイパーパramータ探索におけるモデル類似性の実証的範囲を調査すること。
• モデル類似性を組み込んだよりタイトで実用的な信頼区間を提供する新しい一般化境界を開発すること。
• 適応的および非適応的設定下で、モデル類似性が安全なテストセット再利用回数にどの程度向上するかを定量すること。
• モデル間の構造的依存関係が、過学習リスクをさらに低減できるかを検討すること。

提案手法

• ランダムハイパーパramータ探索およびニューラルアーキテクチャ探索から得られた1,000体以上のImageNetおよびCIFAR-10モデル間で、ペアワイズの予測類似性を実証的に測定する。
• 精度とは独立して、テストサンプル全体における予測の一致度に基づく類似性尺度を定義する。
• モデル族のカバー数を用いてモデル類似性を考慮する非漸近的一般化境界を導入する。
• 標準的な √(log k / n) 項を類似性依存項に置き換える洗練されたユニオンバウンドを導出することで、過学習リスクを低減する。
• この境界を用いて、与えられた誤差許容度のもとで、テストセットに安全に評価可能なモデルの最大数を推定する。
• 類似性に基づく境界を標準ユニオンバウンドおよびナイーブベイズ近似と比較し、実用的状況での顕著な改善を示す。

実験結果

リサーチクエスチョン

• RQ1 ImageNetおよびCIFAR-10で学習されたモデルは、その精度が示唆する以上に、予測類似性を示しているか。
• RQ2 適応的テストセット再利用状況下で、モデル類似性は一般化誤差境界にどのように影響するか。
• RQ3 類似性を考慮した一般化境界は、標準境界と比較して、安全なテストセット再利用回数を顕著に増加させられるか。
• RQ4 高い精度のモデルが適応的に選択されても、大規模なハイパーパramータ探索およびニューラルアーキテクチャ探索において、類似性が維持されるか。
• RQ5 追加の構造的仮定を導入することで、類似性に基づく境界はさらに向上するか。

主な発見

• ImageNetおよびCIFAR-10のモデルは、精度から予想されるよりも顕著に高い予測一致度を示しており、一部のケースでは平均ペアワイズ類似度が97.5%に達している。
• CIFAR-10におけるランダムハイパーパラメータ探索では、モデルのチェックポイント同士が顕著に類似しており、ランダムな一致をはるかに上回る類似度を示している。
• ニューラルアーキテクチャ探索のモデルでは、上位パフォーマンスの設定間で平均97.6%の類似度を示しており、強い構造的収束が確認された。
• 提案された類似性に基づく一般化境界は、標準ユニオンバウンドと比較して、安全なテストセット再利用回数を最大で12倍に増加させた。
• 追加のモデリング仮定を導入した場合、境界はベースラインと比較して最大で34,000倍にまで安全な再利用回数を向上させた。
• 高い精度の領域においても、モデル類似性のおかげで、過学習を伴わず、テストセットの評価回数を著しく増やすことができる。これは、ImageNetのようなベンチマークが長期間にわたり有効である理由を説明している。