[論文レビュー] Model Patching: Closing the Subgroup Performance Gap with Data Augmentation

Karan Goel, Albert Gu+2 more|arXiv (Cornell University)|Aug 15, 2020

Topic Modeling参考文献 97被引用数 45

ひとこと要約

2-stage のフレームワークとして呼ばれる model patching (CAMEL) は、サブグループ間の変換を学習し、サブグループの整合性正則化子を用いた CycleGAN ベースの拡張を使用してサブグループの頑健性を向上させ、ベンチマーク全体でサブグループの性能ギャップと頑健な誤差を低減します。

ABSTRACT

Classifiers in machine learning are often brittle when deployed. Particularly concerning are models with inconsistent performance on specific subgroups of a class, e.g., exhibiting disparities in skin cancer classification in the presence or absence of a spurious bandage. To mitigate these performance differences, we introduce model patching, a two-stage framework for improving robustness that encourages the model to be invariant to subgroup differences, and focus on class information shared by subgroups. Model patching first models subgroup features within a class and learns semantic transformations between them, and then trains a classifier with data augmentations that deliberately manipulate subgroup features. We instantiate model patching with CAMEL, which (1) uses a CycleGAN to learn the intra-class, inter-subgroup augmentations, and (2) balances subgroup performance using a theoretically-motivated subgroup consistency regularizer, accompanied by a new robust objective. We demonstrate CAMEL's effectiveness on 3 benchmark datasets, with reductions in robust error of up to 33% relative to the best baseline. Lastly, CAMEL successfully patches a model that fails due to spurious features on a real-world skin cancer dataset.

研究の動機と目的

• クラス内のサブグループ間での脆弱な分類器性能を動機づけ、対処する。
• クラスラベルを保持するサブグループ間の変換を学習する。
• サブグループの特徴を操作するデータ拡張を用いて、不変性を向上させる分類器を訓練する。
• サブグループの不変性と相互情報量の境界を結ぶ理論的保証を提供する。
• 複数のベンチマークデータセットと実世界の皮膚癌データセットで改善を実証的に検証する。

提案手法

• Stage 1 は CycleGAN を用いてサブグループ間の変換を学習し、同じクラス内のサブグループ間で例を転送する。
• Stage 2 は 元データと拡張データの両方を用いて、サブグループ堅牢性目的とサブグループ整合性正則化子を用いて分類器を訓練する。
• サブグループ堅牢性目的は、クラス条件付きの最悪ケースサブグループ性能をターゲットとする（SGDRO）。
• サブグループ整合性正則化子は、サブグループの特徴に対する不変性を促進するため、サブグループ拡張 variante 間の予測を整 Alignment する。
• 総目的関数は SGDRO と正則化項を組み合わせる：L_CAMEL = L_SGDRO + lambda * L_c。

実験結果

リサーチクエスチョン

• RQ1 学習されたサブグループ間の変換は、クラス保持の有意義な拡張をサブグループ間で生み出せるか。
• RQ2 サブグループに焦点を当てた拡張と整合性正則化を用いた訓練は、頑健性を向上させ、データセット間のサブグループギャップを縮小できるか。
• RQ3 拡張と正則化がサブグループ不変性と結びつく理論的保証は何か。
• RQ4 CAMEL は benchmark データセットおよび実世界の皮膚癌データにおいて ERM および頑健なベースラインと比較してどうか。

主な発見

• CAMEL は総合的および頑健性の高い精度を達成し、ベンチマーク全体でサブグループの性能ギャップを縮小する。
• MNIST-Correlation では CAMEL がサブグループ間のギャップを 0.96% に縮小し、頑健性の精度を 97.89% に達成する。
• CelebA および Waterbirds では CAMEL が一貫してベースラインを上回り、Waterbirds では最大 10.22 ポイントのギャップ削減を達成する。
• ISIC 皮膚癌データでは CAMEL が頑健性の精度を 11.7% 向上させ、悪性クラスの精度を 65.59% から 78.86%（原著本文の概算報告）へ改善する。
• アブレーション実験は、学習された拡張 + 強力な整合性正則化が最良の頑健性をもたらす一方、ヒューリスティックな拡張や弱い整合性は性能を傷つける可能性があることを示す。
• MI 推定は CAMEL がサブグループ不変 representations を誘導することを示し、MNIST-Correlation では MI 推定値が 0.02 に低下する（低いほど良い）。