[論文レビュー] The advantages of multiple classes for reducing overfitting from test set reuse

Vitaly Feldman, Roy Frostig+1 more|arXiv (Cornell University)|May 24, 2019

Imbalanced Data Classification Techniques被引用数 14

ひとこと要約

本稿では、クラス数の増加により、テストセットの再利用による過学習が顕著に軽減されることを示している。多クラス分類では、バイアスの最悪ケースが Õ(√(k log n / (m n)) + k/n) のスケーリングを示す理論的境界が得られ、実験的攻撃により、ImageNet における m=1000 のような高いクラス数では、意味のある過学習を達成するためのクエリ数が著しく増加することが確認された。

ABSTRACT

Excessive reuse of holdout data can lead to overfitting. However, there is little concrete evidence of significant overfitting due to holdout reuse in popular multiclass benchmarks today. Known results show that, in the worst-case, revealing the accuracy of $k$ adaptively chosen classifiers on a data set of size $n$ allows to create a classifier with bias of $Θ(\sqrt{k/n})$ for any binary prediction problem. We show a new upper bound of $ ilde O(\max\{\sqrt{k\log(n)/(mn)},k/n\})$ on the worst-case bias that any attack can achieve in a prediction problem with $m$ classes. Moreover, we present an efficient attack that achieve a bias of $Ω(\sqrt{k/(m^2 n)})$ and improves on previous work for the binary setting ($m=2$). We also present an inefficient attack that achieves a bias of $ ildeΩ(k/n)$. Complementing our theoretical work, we give new practical attacks to stress-test multiclass benchmarks by aiming to create as large a bias as possible with a given number of queries. Our experiments show that the additional uncertainty of prediction with a large number of classes indeed mitigates the effect of our best attacks. Our work extends developments in understanding overfitting due to adaptive data analysis to multiclass prediction problems. It also bears out the surprising fact that multiclass prediction problems are significantly more robust to overfitting when reusing a test (or holdout) dataset. This offers an explanation as to why popular multiclass prediction benchmarks, such as ImageNet, may enjoy a longer lifespan than what intuition from literature on binary classification suggests.

研究の動機と目的

• 多クラス分類問題におけるクラス数の変化が、テストセットの繰り返しアクセスに起因する過学習に与える影響を調査すること。
• 二値分類における適応的データ解析の理論的理解を、m > 2 の多クラス設定へ拡張すること。
• さまざまなクラス数の下で、テストセット再利用を通じてバイアスを最大化する実用的攻撃を開発・評価すること。
• ImageNet のような実世界の多クラスベンチマークが、広範なテストセット再利用にもかかわらず長期間にわたり安定している理由を説明すること。

提案手法

• 多クラス設定における最悪バイアスの新しい理論的上界を提案： Õ(max{√(k log n / (m n)), k/n})。
• バイアス Ω(√(k / (m²n))) を達成する効率的攻撃と、バイアス Õ(k/n) に達する非効率的攻撃を導入。
• モデルのログチットを事前分布として用いる、事前知識を活用した攻撃（NBπ）を提案。
• 上位-R予測や低信頼度のサンプルに注目することで、有効クラス数（m）を低減するヒューリスティクスを適用。
• 合成データセットと ResNet-50v2 モデルを事前情報として用いた ImageNet 2012 ベンチマークで実験を実施。
• クエリベースの適応的攻撃を用い、ランダム推測より固定の優位性を達成するためのクエリ数を測定。

実験結果

リサーチクエスチョン

• RQ1 多クラス問題におけるクラス数の増加が、テストセット再利用に起因する最悪バイアスに与える影響は何か？
• RQ2 二値分類における過学習の理論的境界を、m > 2 の多クラス設定へ拡張できるか？
• RQ3 事前知識（例：モデルのログチット）が利用可能な場合、実用的攻撃は多クラステストセットへの過学習に対してどの程度効果的か？
• RQ4 上位-R予測などの手法で有効クラス数を低減させることで、攻撃の成功確率はどの程度向上するか？
• RQ5 実世界の多クラスベンチマーク（例：ImageNet）は、理論的最悪ケースの過学習リスクがあるにもかかわらず、なぜ広範なテストセット再利用に対しても堅牢性を保っているのか？

主な発見

• 理論的分析により、多クラス問題における最悪バイアスが Õ(√(k log n / (m n))) + k/n のスケーリングを示すことが判明。m が大きいほど過学習リスクが顕著に低下することが示された。
• 効率的攻撃により、バイアス Ω(√(k / (m²n))) を達成でき、m=2 の場合の従来の二値設定の境界を改善した。
• ImageNet テストセット（m=1000）において、NBπ 攻撃は上位2予測（R=2）に限定することで、5200クエリ後に3.0%の精度向上を達成した。
• 4万件の高信頼度ポイントを除外することで n を1万に削減し、5200クエリ後に攻撃の優位性が1.44%に向上した。
• 合成データ上で、クエリ数と m の対数プロットから、固定バイアスを達成するためのクエリ数が m に対して超線形的に増加することが示された。
• 強力な事前知識（例：ResNet-50 のログチット）が存在しても、大規模な m ベンチマークでは攻撃の成功が限定的であり、実世界ベンチマークの堅牢性が説明された。