[論文レビュー] Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious Attribute Estimation

Junhyun Nam, Jaehyung Kim+2 more|arXiv (Cornell University)|Apr 5, 2022

Machine Learning and Data Classification被引用数 11

ひとこと要約

本稿では、スパurious属性ラベル付きサンプルを少数のみ活用して未ラベルデータのための擬似属性を生成することで、worst-group損失の最小化を効果的に行う、Spread Spurious Attribute (SSA) を提案する。SSAは複数のベンチマークで、ラベル付きデータの0.6%から1.5%のわずかな割合でのみ、完全監視手法と同等の性能を達成する。

ABSTRACT

The paradigm of worst-group loss minimization has shown its promise in avoiding to learn spurious correlations, but requires costly additional supervision on spurious attributes. To resolve this, recent works focus on developing weaker forms of supervision -- e.g., hyperparameters discovered with a small number of validation samples with spurious attribute annotation -- but none of the methods retain comparable performance to methods using full supervision on the spurious attribute. In this paper, instead of searching for weaker supervisions, we ask: Given access to a fixed number of samples with spurious attribute annotations, what is the best achievable worst-group loss if we "fully exploit" them? To this end, we propose a pseudo-attribute-based algorithm, coined Spread Spurious Attribute (SSA), for improving the worst-group accuracy. In particular, we leverage samples both with and without spurious attribute annotations to train a model to predict the spurious attribute, then use the pseudo-attribute predicted by the trained model as supervision on the spurious attribute to train a new robust model having minimal worst-group loss. Our experiments on various benchmark datasets show that our algorithm consistently outperforms the baseline methods using the same number of validation samples with spurious attribute annotations. We also demonstrate that the proposed SSA can achieve comparable performances to methods using full (100%) spurious attribute supervision, by using a much smaller number of annotated samples -- from 0.6% and up to 1.5%, depending on the dataset.

研究の動機と目的

• worst-group精度向上手法におけるスパurious属性の完全監視の高コストを軽減すること。
• 利用可能なスパurious属性ラベル付きサンプルが限られている状況でも、worst-group精度を向上させること。
• ラベル付きサンプルを最大限に活用することで、最小限の監視で完全な性能を達成できるかを検討すること。
• 同じラベル付きデータ予算下で、既存の弱い監視手法を上回る性能を発揮する手法を開発すること。

提案手法

• ラベル付きおよび未ラベル付きサンプルを併用してスパurious属性予測器を訓練し、未ラベルセットに対して擬似属性を生成する。
• 擬似ラベル付与時にグループ別に適応的閾値を適用することで、多数派グループへのバイアスを軽減する。
• 生成された擬似ラベル付きデータセットを用いて、worst-group損失最小化（例：Group DRO）により堅牢なモデルを訓練する。
• 堅牢な訓練フェーズにおいて、元のラベル付きサンプルをハイパーパramータチューニングに再利用する。
• 生成された擬似ラベル付きデータに対して、既存の堅牢な訓練フレームワーク（例：Group DRO、Correct-N-Contrast）を活用する。
• 擬似ラベル付与プロセスがマイノリティグループの表現を損なわないようにし、分布バイアスの悪化を回避する。

実験結果

リサーチクエスチョン

• RQ1 スパurious属性ラベル付きデータのわずかな割合でのみ、完全監視のworst-group学習と同等の性能を達成できるか？
• RQ2 スパurious相関が存在する状況で、限られた数のラベル付きサンプルをどのように最適に活用すればworst-group精度を向上させられるか？
• RQ3 適応的閾値を用いた擬似ラベル付けは、標準的手法と比較してマイノリティグループの推定バイアスを低減するか？
• RQ4 異なるスパurious相関パターンを示す多様なベンチマークデータセットに、提案手法が一般化可能か？

主な発見

• SSAは、データセット全体でスパurious属性ラベル付きデータの0.6%から1.5%のわずかな割合でのみ、完全監視のGroup DROと同等のworst-group精度を達成する。
• CelebAでは、182,637個のデータのうち993個（約0.5%）のラベル付きデータで、100%監視性能に相当する結果を得た。
• MultiNLIでは、288,637個のデータのうち4,123個（約1.4%）のラベル付きデータで、完全監視性能に一致する。
• 5%のラベル付きデータ予算でも、ベースライン手法と比較して一貫して優れた性能を発揮する。
• Correct-N-Contrastなどの他の堅牢な訓練手法と組み合わせても、強力な性能を維持する。
• グループ別適応的閾値の使用により、特にマイノリティグループにおいて、擬似ラベル付けのバイアスが顕著に低減された。