[論文レビュー] Undersampling is a Minimax Optimal Robustness Intervention in Nonparametric Classification

Niladri S. Chatterji, Saminul Haque+1 more|arXiv (Cornell University)|May 26, 2022

Face and Expression Recognition被引用数 7

ひとこと要約

本稿では、ラベルシフトおよびグループ・コVariateシフトの下で、アンダーサンプリングがロバストな非パrametric二値分類においてミニマックス最適であることを確立し、モデルのパフォーマンスがマイノリティグループのサンプル数によって本質的に制約されることを示している。また、分布の重なりが大きくないか、追加の構造的仮定がない限り、どのアルゴリズムもアンダーサンプリングを上回ることはできないことが示され、理論的下界により、この制限がマイノリティグループにおけるデータ不足に起因する本質的であることが確認されている。

ABSTRACT

While a broad range of techniques have been proposed to tackle distribution shift, the simple baseline of training on an $ extit{undersampled}$ balanced dataset often achieves close to state-of-the-art-accuracy across several popular benchmarks. This is rather surprising, since undersampling algorithms discard excess majority group data. To understand this phenomenon, we ask if learning is fundamentally constrained by a lack of minority group samples. We prove that this is indeed the case in the setting of nonparametric binary classification. Our results show that in the worst case, an algorithm cannot outperform undersampling unless there is a high degree of overlap between the train and test distributions (which is unlikely to be the case in real-world datasets), or if the algorithm leverages additional structure about the distribution shift. In particular, in the case of label shift we show that there is always an undersampling algorithm that is minimax optimal. In the case of group-covariate shift we show that there is an undersampling algorithm that is minimax optimal when the overlap between the group distributions is small. We also perform an experimental case study on a label shift dataset and find that in line with our theory, the test accuracy of robust neural network classifiers is constrained by the number of minority samples.

研究の動機と目的

• アンダーサンプリングがデータを破棄しているにもかかわらず、なぜ分布シフトの設定でしばしば最先端のロバスト性を達成するのかを調査すること。
• ロバストな学習アルゴリズムのパフォーマンスが、マイノリティグループのサンプル数によって本質的に制約されているかどうかを特定すること。
• ラベルシフトおよびグループ・コVariateシフトの下で、非パラメトリック二値分類においてアンダーサンプリングがミニマックス最適であることを確立すること。
• マイノリティサンプル数 $n_{\mathsf{min}}$ のみに依存するミニマックス超過リスクの理論的下界を導出すること。
• ラベルシフトデータセット上で理論を実証的に検証し、テスト精度がマイノリティサンプル数によって制約されることを示すこと。

提案手法

• ラベルシフトおよびグループ・コVariateシフトの下で、リプシッツ連続なクラス条件付き密度を仮定した非パラメトリック二値分類を分析する。
• マイノリティグループのサンプル数 $n_{\mathsf{min}}$ のみに依存する超過リスクのミニマックス下界を導出し、パフォーマンスの根本的限界を示す。
• 訓練分布とテスト分布の重なりが小さい場合、アンダーサンプリングがラベルシフトにおいてミニマックス最適であることを証明する。
• VC次元に基づく解析を用いて、任意の可測な分類器のリスクを評価し、Massartノイズマージン $h$ と分布の複雑さ $V$ を組み込む。
• クラスの不均衡を加味した変更版CIFAR10データセット上で、アンダーサンプリングモデルを実験的に評価し、VS損失、チルトド損失、およびGroup-DROと比較する。
• SGDで800エポック訓練されたResNet-50アーキテクチャを用い、先行研究からのハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 ロバストな学習アルゴリズムのパフォーマンスは、分布シフトの設定において、マイノリティグループのサンプル数によって本質的に制限されているのか？
• RQ2 追加の構造的仮定がなければ、ラベルシフトにおいてどのアルゴリズムもアンダーサンプリングを上回ることができるのか？
• RQ3 非パラメトリック分類において、どのような条件下でアンダーサンプリングがミニマックス最適となるのか？
• RQ4 分布シフトが存在する中で、ミニマックス超過リスクはマイノリティサンプル数 $n_{\mathsf{min}}$ に対してどのようにスケーリングされるのか？
• RQ5 ベンチマークデータセットにおける実験的パフォーマンスは、ミニマックス解析から導かれた理論的限界をどの程度反映しているのか？

主な発見

• ラベルシフトにおけるミニマックス超過リスクは、$1/n_{\mathsf{min}}^{1/2}$ に比例する項によって下界づけられており、パフォーマンスがマイノリティサンプル数によって本質的に制約されていることを証明している。
• 訓練分布とテスト分布の重なりが小さい場合、アンダーサンプリングはラベルシフトにおいてミニマックス最適であり、他のいかなるアルゴリズムもより良い最悪ケースパフォーマンスを達成できないことを意味する。
• グループ・コVariateシフトでは、グループの分布間の重なりが小さい場合、アンダーサンプリングはミニマックス最適であり、構造的仮定のもとでロバストであることを示している。
• CelebAデータセットでは、アンダーサンプリングがマイノリティデータの97％を破棄したにもかかわらず、85.6％の最悪グループ精度を達成し、最良手法（gDRO）と1.3ポイント以内に収束した。
• MultiNLIデータセットでは、アンダーサンプリングが68.9％の最悪グループ精度を達成し、最良手法（gDRO）の78.0％をわずかに下回ったが、9.1ポイント以内に収束した。
• 実験により、ロバストなニューラルネットワークの最悪グループ精度がマイノリティサンプル数によって制約されることを確認し、理論的下界の妥当性を検証した。