[論文レビュー] No Subclass Left Behind: Fine-Grained Robustness in Coarse-Grained Classification Problems

Nimit S. Sohoni, Jared Dunnmon+3 more|arXiv (Cornell University)|Nov 25, 2020

Anomaly Detection Techniques and Applications被引用数 45

ひとこと要約

本論文は、サブクラスラベルが利用できない場合に隠れた層化を検出・緩和する2段階アプローチGeorgeを提案し、クラスタリングに基づく代理ラベルと分布的に堅牢な最適化を用いて最悪ケースのサブクラス精度を改善します。

ABSTRACT

In real-world classification tasks, each class often comprises multiple finer-grained "subclasses." As the subclass labels are frequently unavailable, models trained using only the coarser-grained class labels often exhibit highly variable performance across different subclasses. This phenomenon, known as hidden stratification, has important consequences for models deployed in safety-critical applications such as medicine. We propose GEORGE, a method to both measure and mitigate hidden stratification even when subclass labels are unknown. We first observe that unlabeled subclasses are often separable in the feature space of deep neural networks, and exploit this fact to estimate subclass labels for the training data via clustering techniques. We then use these approximate subclass labels as a form of noisy supervision in a distributionally robust optimization objective. We theoretically characterize the performance of GEORGE in terms of the worst-case generalization error across any subclass. We empirically validate GEORGE on a mix of real-world and benchmark image classification datasets, and show that our approach boosts worst-case subclass accuracy by up to 22 percentage points compared to standard training techniques, without requiring any prior information about the subclasses.

研究の動機と目的

• 粗粒度ラベルが意味のあるサブクラスを隠している場合の隠れた層化に対処する。
• モデルの特徴空間におけるクラスタリングを通じて未知のサブクラス構造を推定する。
• 堅牢な学習目的関数を用いて最悪ケースのサブクラス性能を改善する。
• 近似的なサブクラス回復と堅牢な汎化能力を結ぶ理論的保証を提供する。
• 実世界データセットとベンチマークデータセット全体で実証的にアプローチを検証する。

提案手法

• 粗い上位クラスラベル上でERMモデルを学習し、特徴表現を得る。
• 各上位クラス内の特徴をクラスタリングして代理サブクラスを推定する（Silhouetteベースの基準で自動決定されたk、UMAP次元削減を用いる）。
• 推定されたサブクラスクラスタをグループとして使用し、GDRO（分布的に堅牢な最適化）を適用して新しい堅牢な分類器を訓練する。
• 事前学習済み埋め込みを用いてクラスタリングを補強し、代理サブクラスの回復を改善する。
• ガウス的サブクラス仮定と良好なクラスタリングの下で、サンプル複雑度において真のラベルを用いるGDROと一致することを示す理論的結果を提供する（ソフトグループ割り当て）。
• Waterbirds, U-MNIST, CelebA, ISIC におけるロバスト性と測定品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 unlabeled-subclassesをdeep feature spaceから効果的に推定して堅牢最適化を可能にできるか。
• RQ2 推定サブクラスグループを用いたGDROは標準のERMおよび真のサブクラスGDROと比較して堅牢な性能においてどうか。
• RQ3 recoveredクラスタが真のまたは意味のある潜在サブクラスとどの程度整合する品質があるか。
• RQ4 事前学習埋め込みをクラスタリングに用いることがGeorgeの堅牢性向上にどう影響するか。

主な発見

データセット	ERM ロバスト	ERM 総合	George ロバスト	George 総合	Subclass-GDRO ロバスト	Subclass-GDRO 総合
Waterbirds	63.3 (±1.6)	97.3 (±0.1)	76.2 (±2.0)	95.7 (±0.5)	90.7 (±0.4)	92.7 (±0.4)
U-MNIST	93.9 (±0.6)	98.7 (±0.1)	95.7 (±0.6)	98.1 (±0.3)	96.8 (±0.4)	98.0 (±0.3)
ISIC	0.922 (±0.003)	0.957 (±0.002)	0.912 (±0.005)	0.927 (±0.008)	0.923 (±0.003)	0.933 (±0.005)
CelebA	0.875 (±0.005)	0.957 (±0.002)	0.876 (±0.006)	0.945? (not provided)	0.875 (±0.004)	0.893 (±0.004)

• George は evaluated datasets を横断して ERM よりも最悪ケースのサブクラス精度を最大で 22 ポイント改善。
• George は 真のサブクラスラベルを用いた oracle GDRO に近づくように堅牢サブクラス性能のギャップを縮小する（ただし常に一致するとは限らない）。
• ERM の特徴のクラスタリングは、成績が振るわないサブクラスと一致するクラスタを回復し、ラベルなしの意味あるサブ構造を明らかにできる。
• クラスタリングに基づく堅牢性は、全体精度よりも最悪クラスタの性能が真の堅牢性能をよりよく推定する。
• 事前学習済み埋め込みをクラスタリングに用いると堅牢性がさらに高まり、時には oracle GDRO にほぼ匹敵することがある。
• ガウス的サブクラス設定で、代理サブクラスが正確であれば、George は真のラベルを用いる GDRO と一致する最適な漸近的速度を達成する。