[論文レビュー] A Near-Optimal Algorithm for Debiasing Trained Machine Learning Models

Ibrahim Alabdulmohsin, Mario Lučić|arXiv (Cornell University)|Jun 6, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用数 7

ひとこと要約

この論文は、正則化された最適化問題をProjected SGDで解くことで、特に深層ニューラルネットワークを含むトレーニング済み機械学習モデルのバイアスを軽減する近似的最適な後処理アルゴリズム、Randomized Threshold Optimizer (RTO)を提案している。RTOは近似的最適な過剰ベイズリスクを達成し、従来の後処理手法を著しく上回り、同時にインプロセッシング手法と同等の性能を示す。特に大規模モデルにおいて顕著である。

ABSTRACT

We present a scalable post-processing algorithm for debiasing trained models, including deep neural networks (DNNs), which we prove to be near-optimal by bounding its excess Bayes risk. We empirically validate its advantages on standard benchmark datasets across both classical algorithms as well as modern DNN architectures and demonstrate that it outperforms previous post-processing methods while performing on par with in-processing. In addition, we show that the proposed algorithm is particularly effective for models trained at scale where post-processing is a natural and practical choice.

研究の動機と目的

• トレーニング済みモデル、特に深層ニューラルネットワークを対象としたスケーラブルで後処理可能なバイアス除去手法を開発し、理論的保証のもとで近的最適な公平性を達成すること。
• 信用貸付、医療、刑事司法など、公平性が重要だが普遍的に定義しづらい高リスクな機械学習応用におけるバイアスの課題に対処すること。
• 特に大規模にトレーニングされたモデルにおいて、後処理がインプロセッシングと同等に有効であることを示すこと。
• 決定閾値付近でのランダム化が、統計的平等性の下でのベイズリスクの一貫性に必要であることを理論的に証明し、これを正則化最適化フレームワークに形式化すること。

提案手法

• 統計的平等性制約の下で過剰ベイズリスクを最小化する正則化最適化問題としてバイアス除去を定式化する。
• 効率的なスケーラビリティを実現するため、Projected Stochastic Gradient Descent (SGD) を用いて最適化問題を効率的に解く。
• 正則化ハイパーパrameterによって制御されるランダム化幅を持つランダム化閾値ルールを導入し、ベイズリスクの一貫性を保証する。
• 統計的平等性定義下での一貫性に、閾値付近でのランダム化が必要であることを示す理論的境界を導出する。
• 古典的モデルおよび最新のDNN（BiT、ResNet、MobileNet、DenseNetアーキテクチャを含む）にアルゴリズムを適用する。
• 付録Dの修正を通じて、非二値の感受性属性および弱い公平性定義に対応可能に方法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 後処理手法は、特に深層ニューラルネットワークのようなトレーニング済みモデルにおいて、近的最適な過剰ベイズリスクを達成できるか？
• RQ2 統計的平等性の下で、公平な分類において、決定閾値付近でのランダム化がベイズリスクの一貫性に理論的に必要であるか？
• RQ3 大規模な事前学習済みモデルにおいて、後処理手法の性能はインプロセッシング手法と比べてどうか？
• RQ4 モデルスケールの増大に伴い、バイアス除去の効果が向上するか、特に大規模データセットで事前学習された過パラメータ化モデルにおいては？
• RQ5 提案されたアルゴリズムは、非二値の感受性属性および弱い公平性定義へ一般化可能か？

主な発見

• RTOは、CelebA や COCO を含む標準ベンチマークデータセットにおいて、従来の後処理バイアス除去手法を著しく上回る。
• インプロセッシング手法と同等に競争力のある性能を示し、後処理手法の中で最先端の結果を達成している。
• 特に大規模にトレーニングされたモデル（過パラメータ化が強く、大規模データセットで事前学習後微調整されたモデル）に対して特に効果的である。
• 実験的結果から、バイアス除去の性能がモデルスケールに伴い向上することが示され、大規模MLパイプラインにおける後処理の実用性が裏付けられた。
• 理論的分析により、閾値付近でのランダム化がベイズリスクの一貫性に必要であることが証明され、RTOの設計がこの条件を満たしていることが確認された。
• さまざまなアーキテクチャ（ResNet、MobileNet、DenseNet、NASNet）において、視覚認識および属性予測タスクの両方で、強力な性能を維持している。