[論文レビュー] Learning Debiased Classifier with Biased Committee

Nayeong Kim, Sehyun Hwang+3 more|arXiv (Cornell University)|Jun 22, 2022

Machine Learning and Data Classification被引用数 13

ひとこと要約

本稿では、バイアス付き分類器のブートストラップアンサンブルを用いて、予測の難易度の一致を通じて、誤った相関関係に反するサンプル（バイアス矛盾サンプル）を特定・重み付けするデバイアス化手法である Learning with Biased Committee (LWBC) を提案する。本手法は、主分類器と知識蒸留された委員会を同時に学習することで段階的なデバイアス化を実現し、5つの実世界データセットにおいて、事前状態の最良手法よりも平均で8.2%の悪群精度向上を達成する。これは、誤った属性ラベルがなくても達成可能である。

ABSTRACT

Neural networks are prone to be biased towards spurious correlations between classes and latent attributes exhibited in a major portion of training data, which ruins their generalization capability. We propose a new method for training debiased classifiers with no spurious attribute label. The key idea is to employ a committee of classifiers as an auxiliary module that identifies bias-conflicting data, i.e., data without spurious correlation, and assigns large weights to them when training the main classifier. The committee is learned as a bootstrapped ensemble so that a majority of its classifiers are biased as well as being diverse, and intentionally fail to predict classes of bias-conflicting data accordingly. The consensus within the committee on prediction difficulty thus provides a reliable cue for identifying and weighting bias-conflicting data. Moreover, the committee is also trained with knowledge transferred from the main classifier so that it gradually becomes debiased along with the main classifier and emphasizes more difficult data as training progresses. On five real-world datasets, our method outperforms prior arts using no spurious attribute label like ours and even surpasses those relying on bias labels occasionally.

研究の動機と目的

• 学習データにおけるクラスと潜在的属性の間の誤った相関関係が原因で生じるモデルバイアスを是正すること。
• 高価で実用的でない誤った属性ラベルの明示的アノテーションを必要としないデバイアス化手法を開発すること。
• 単一のバイアス付き分類器アプローチと比較して、バイアス矛盾サンプルの同定の信頼性と正確性を向上させること。
• 訓練中に主分類器からの知識蒸留を通じて、補助的委員会が段階的にデバイアス化できるようにすること。

提案手法

• 本手法は、訓練データのランダムサブセットで学習させることで多様性と固有のバイアスを確保する、分類器のブートストラップアンサンブル（委員会）を採用する。
• 委員会内での予測難易度の一致を用いて、バイアス矛盾サンプルを特定し、学習された重み関数により高い訓練重みを割り当てる。
• 委員会は主分類器のログティットから知識蒸留を用いて訓練され、徐々にバイアスが低減し、より困難で曖昧なサンプルに注目するようになる。
• 主分類器は、委員会の一致に基づくクラス条件付き重み付けで訓練され、委員会が困難と判断するサンプルに重点を置く。
• 一般化性能の向上と強力なベースラインとしての役割を果たすために、自己教師付き表現学習を特徴抽出に用いる。

実験結果

リサーチクエスチョン

• RQ1 1つのバイアス付き分類器と比較して、バイアス付き分類器の委員会は、バイアス矛盾サンプルの同定においてより信頼性が高いと言えるか？
• RQ2 主分類器からの知識蒸留は、委員会のデバイアス化性能にどのように影響するか？
• RQ3 ブートストラップアンサンブルを用いることで、補助モジュールのハイパーパramータや初期化の変動に対するロバスト性が向上するか？
• RQ4 追加の監視なしに、自己教師付き表現学習はどの程度デバイアス化性能を向上させられるか？

主な発見

• LWBCは、誤った属性ラベルに依存する既存手法よりも、5つの実世界データセットで最先端の悪群精度を達成した。
• 誤った属性アノテーションが入手不可であっても、事前状態の最良手法と比較して平均で8.2%の悪群精度向上を達成した。
• アブレーションスタディの結果、知識蒸留を組み合わせたバイアス付き分類器の委員会を用いることで、単一のバイアス付き分類器ベースラインと比較して、悪群精度が平均5.1%向上した。
• 知識蒸留を適用した場合、主分類器の精度が向上するに従い、委員会の精度も上昇する傾向にあり、段階的デバイアス化が実現していることが示された。
• 本手法は、BARデータセットにおけるスキューバダイビングとプラットフォームダイビングの画像を区別するような、バイアス属性の難易度に応じた細粒度のサンプル重み付けを実現した。