[論文レビュー] Addressing Fairness, Bias and Class Imbalance in Machine Learning: the FBI-loss

Elisa Ferrari, Davide Bacciu|arXiv (Cornell University)|May 13, 2021

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

本稿では、公平性、交絡バイアス、クラス不均衡を、それらがすべて根本的な不均衡の現れであるとみなすことにより、統一的かつコスト補正された損失関数であるFBI-lossを提案する。この手法は、タスクの複雑さに依存する1つのハイパーパrameterを用いることで、特別なアーキテクチャや複雑な訓練手順を必要とせずに、3つの問題すべてにおいて競争力のある性能を達成する。

ABSTRACT

Resilience to class imbalance and confounding biases, together with the assurance of fairness guarantees are highly desirable properties of autonomous decision-making systems with real-life impact. Many different targeted solutions have been proposed to address separately these three problems, however a unifying perspective seems to be missing. With this work, we provide a general formalization, showing that they are different expressions of unbalance. Following this intuition, we formulate a unified loss correction to address issues related to Fairness, Biases and Imbalances (FBI-loss). The correction capabilities of the proposed approach are assessed on three real-world benchmarks, each associated to one of the issues under consideration, and on a family of synthetic data in order to better investigate the effectiveness of our loss on tasks with different complexities. The empirical results highlight that the flexible formulation of the FBI-loss leads also to competitive performances with respect to literature solutions specialised for the single problems.

研究の動機と目的

• 機械学習におけるクラス不均衡、交絡バイアス、不平等を、すべて根本的な不均衡の異なる形態として統一的に扱う。
• 3つの問題を同時に是正できる、1つの汎用的損失関数を開発する。
• 従来の専用手法と比較して、計算効率の高さとハイパーパrameterの調整のしやすさを確保する。
• FBI-lossを実世界のベンチマークおよび合成データに対して評価し、頑健性と競争力を示す。
• 汎用的損失関数が、明示的な公平性制約がなくても間接的に公平性を向上させることを検証する。

提案手法

• 訓練分布におけるクラス不均衡、交絡バイアス、不平等を、すべて不均衡の異なる表現として形式化する。
• Focal Lossの原則を応用し、容易で過剰に代表されている例を軽減し、困難で不足している例を強調するコスト補正損失を構築する。
• タスクの複雑さに基づいて損失をスケーリングする1つのハイパーパrameterを導入し、調整を容易にする。
• FBI-lossをモデルに依存しないものとし、任意の分類器およびデータモダリティに適用可能にする。
• 敵対的ネットワークや変分オートエンコーダーのような複雑な部品を避けて、標準的なニューラルネットワークレイヤーと訓練手順を用いてFBI-lossを実装する。
• FBI-lossを二値分類タスクに適用し、実世界のデータセットおよび制御された不均衡を持つ合成データ上でその性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡、交絡バイアス、不平等を、1つの概念的枠組みとして統一的に扱うことができるか？
• RQ2 1つの汎用的損失関数が、それぞれの問題に対して特別に設計された手法を上回るか、同等の性能を発揮するか？
• RQ3 FBI-lossは、計算効率と単純さを保ちながら、競争力のある性能を達成できるか？
• RQ4 明示的な公平性制約がなくても、FBI-lossは間接的に公平性を向上させることができるか？
• RQ5 FBI-lossは、実世界および合成ベンチマークにおけるさまざまなレベルの不均衡に対して、どのように性能を発揮するか？

主な発見

• FBI-lossは、実世界のベンチマークにおいて、クラス不均衡、交絡バイアス、不平等分類の3つの問題すべてで安定的かつ競争的な性能を達成した。
• クラス不均衡ベンチマークでは、FBI-lossは過小代表群および過剰代表群の両方で最も安定した性能を示し、過剰補正を起こす他の補正手法を上回った。
• 交絡バイアスベンチマークでは、IFR-VAE や BR-NN といった複雑な手法と同等またはそれ以上の性能を示したが、1つのハイパーパrameterと補助モデルを一切必要としなかった。
• 不平等分類ベンチマークでは、PEO-Loss や LFO と同等の公平性水準を達成し、過剰代表群における安定性が優れていた。
• 公平性に特化した手法と同等のレベルに、保護群と非保護群のFPRおよびFNRの差を低減したが、公平性を目的とした設計ではないにもかかわらずであった。
• FBI-lossは、1つのハイパーパrameter設計と補助学習部品の不在により、IFR-VAE や LFO と比較して2倍から10倍の計算効率が向上した。