[論文レビュー] The Rich Get Richer: Disparate Impact of Semi-Supervised Learning

Zhaowei Zhu, Tianyi Luo+1 more|arXiv (Cornell University)|Oct 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 8

ひとこと要約

本論文は、半教師あり学習（SSL）が公平性の格差を悪化させることを明らかにした。ベースライン精度がより高いサブグループ（「裕福な」）はSSLでより大きな利益を得るが、逆に精度が低いサブグループ（「貧困な」）は性能が低下する可能性がある。著者らは、こうした差別の的影響を定量化するための「利益比」指標を提案し、理論的・実験的分析を通じて、データのバランス調整とラベル付きデータの増加が、画像分類およびテキスト分類タスクにおけるこうした不平等を緩和できることを示した。

ABSTRACT

Semi-supervised learning (SSL) has demonstrated its potential to improve the model accuracy for a variety of learning tasks when the high-quality supervised data is severely limited. Although it is often established that the average accuracy for the entire population of data is improved, it is unclear how SSL fares with different sub-populations. Understanding the above question has substantial fairness implications when different sub-populations are defined by the demographic groups that we aim to treat fairly. In this paper, we reveal the disparate impacts of deploying SSL: the sub-population who has a higher baseline accuracy without using SSL (the "rich" one) tends to benefit more from SSL; while the sub-population who suffers from a low baseline accuracy (the "poor" one) might even observe a performance drop after adding the SSL module. We theoretically and empirically establish the above observation for a broad family of SSL algorithms, which either explicitly or implicitly use an auxiliary "pseudo-label". Experiments on a set of image and text classification tasks confirm our claims. We introduce a new metric, Benefit Ratio, and promote the evaluation of the fairness of SSL (Equalized Benefit Ratio). We further discuss how the disparate impact can be mitigated. We hope our paper will alarm the potential pitfall of using SSL and encourage a multifaceted evaluation of future SSL algorithms.

研究の動機と目的

• 半教師あり学習（SSL）が、特定のサブグループに他のグループよりも顕著に利益をもたらすかどうかを調査すること。
• 特に、クラスレベルまたはデモグラフィックレベルの精度に基づくサブグループにおけるSSLにおける差別の的影響の根本的原因を理解すること。
• SSL適用後の各サブグループにおけるモデル精度の正規化された向上を測定するための新しい公平性評価指標、すなわち「利益比」を提案すること。
• 不公平性を低減するための実用的戦略（データのバランス調整やラベル付きデータの増加など）を評価し、提案すること。
• 平均精度を超えた、多面的なSSLアルゴリズムの評価を促進し、モデル向上における公平性を強調すること。

提案手法

• 著者らは、SSLにおける一貫性正則化とノイズのあるラベル付き学習を結びつける包括的な分析フレームワークを構築し、一般化誤差の理論的分析を可能にした。
• SSLの一般化誤差に対する上界を導出し、小規模な教師ありデータセットでは誤差が不均一になることが、差別の的影響を引き起こす要因であることを示した。
• 各サブグループのSSL適用後の精度向上の正規化された度合いを定量化するための新しい指標「利益比」を導入した。
• 利益比は、SSLにおける「マシュー効果」（「裕福な者ほど裕福になる」現象）を検出するのにも使用された：ベースライン精度が高いグループでは利益比が1より大きく、大きな利益を得るが、精度が低いグループでは利益比が負になることもあり、性能が低下する。
• CIFAR-10、CIFAR-100、およびJigsaw毒性スコアデータセットを用い、MixMatchを含む複数のSSL手法を用いて利益比の実験的評価を実施した。
• 2つの是正戦略（ラベル付きデータとラベルなしデータのバランス調整、および追加のラベル付きデータ収集）を適用し、利益比の分散と負の利益比の削減に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 クラスまたはデモグラフィックグループに基づくサブグループ間で、半教師あり学習が不均等な改善をもたらすか？
• RQ2 なぜベースライン精度が高いサブグループほどSSLで利益を得るのか？逆に、他のグループでは性能が低下するのか？
• RQ3 利益比指標は、異なるグループにおけるSSLの差別的影響を効果的に特定・定量化できるか？
• RQ4 データのバランス調整とラベル付きデータの増加によって、SSLにおける不公平性はどの程度軽減できるか？
• RQ5 観察されたマシュー効果（「裕福な者ほど裕福になる」）には理論的根拠があるか？

主な発見

• 「裕福な者ほど裕福になる」現象はSSLにおいて広範に見られる：ベースライン精度が高いサブグループは一貫して高い利益比を示し、一部のグループでは1を超えるほど大きな利益を得ている。
• CIFAR-10における非バランスな設定では、ミックスマッチ適用後、イヌクラス（低いベースライン精度）の利益比が-9.57%に下がり、SSLにより性能が低下した。
• Jigsawデータセットでは、非バランスな設定で8つの人種アイデンティティのうち4つが負の利益比を示し、テキスト分類における顕著な公平性の問題を浮き彫りにした。
• Jigsawで合計800件のラベル付きデータを用い、ラベル付きおよびラベルなしデータの両方をバランスさせた結果、利益比の標準偏差は7.64%に低下し、負の利益比を示すグループは1つにまで減少した。
• 利益比指標は差別的影響を効果的に捉えており、理論的な一般化誤差境界に基づく根拠もあり、SSLにおける公平性評価に有効であることが裏付けられた。
• データのバランス調整や追加のラベル付きデータ収集といった是正戦略により、利益比の標準偏差が顕著に低下し、大多数のサブグループで負の改善が解消された。