[論文レビュー] Fairness with Continuous Optimal Transport

Silvia Chiappa, Aldo Pacchiano|arXiv (Cornell University)|Jan 6, 2021

Optimization and Search Problems参考文献 40被引用数 4

ひとこと要約

本稿では、連続的最適輸送（COT）に基づく確率的勾配公平性手法を提案する。双対定式化を用いることで、機械学習における公平性を向上させる。限られたデータ下でも離散的OT手法を上回り、実世界の導入において変化する不公平度レベルに継続的に適応可能であり、動的データ条件下で優れた安定性を示す性能を発揮する。

ABSTRACT

Whilst optimal transport (OT) is increasingly being recognized as a powerful and flexible approach for dealing with fairness issues, current OT fairness methods are confined to the use of discrete OT. In this paper, we leverage recent advances from the OT literature to introduce a stochastic-gradient fairness method based on a dual formulation of continuous OT. We show that this method gives superior performance to discrete OT methods when little data is available to solve the OT problem, and similar performance otherwise. We also show that both continuous and discrete OT methods are able to continually adjust the model parameters to adapt to different levels of unfairness that might occur in real-world applications of ML systems.

研究の動機と目的

• データが限られる状況における、公平性に配慮した機械学習における離散的最適輸送（OT）の限界を解消すること。
• 変動する不公平度レベルに応じて、モデルパラメータを動的にリアルタイムで適応可能な連続的OTに基づく手法を開発すること。
• 連続的OTが、離散的OTよりもデータ効率に優れつつも、高い公平性と精度のトレードオフを維持できることを示すこと。
• 再トレーニングを完全に再開することなく、モデルを過去の異なる不公平度レベルに再調整できることを示すこと。
• 実世界の機械学習システムにおける変化するデータ分布に対して、本手法の頑健性と適応可能性を検証すること。

提案手法

• 連続的最適輸送（COT）の双対定式化を用いて、モデル出力の連続的分布上に直接公平性制約を計算する。
• 確率的勾配降下法を用いてモデルパラメータを最適化し、OT距離を介して感受性属性とモデル予測の統計的独立性を強制する。
• 分布の離散化を回避することで、データが少ない状況下でも輸送コストのより正確で安定した推定が可能になる。
• OT定式化における双対変数を繰り返し更新することで、モデルパラメータを公平な出力分布へ誘導する。
• 分類および回帰の両タスクと互換性があり、デモグラフィックパリティを超える公平性基準へも拡張可能である。
• 連続的OT最適化の最近の進展を活用し、最小限の計算オーバーヘッドで効率的かつスケーラブルなトレーニングを実現する。

実験結果

リサーチクエスチョン

• RQ1 限られたトレーニングデータ下で、連続的最適輸送が離散的OTを上回る性能を発揮できるか？
• RQ2 連続的OTに基づく手法は、実世界のデータ分布における変化する不公平度レベルに、モデルパラメータをどれほど効果的に適応できるか？
• RQ3 十分なデータがある場合、連続的OT手法は離散的OTと同等の公平性と精度のトレードオフを維持できるか？
• RQ4 完全な再トレーニングなしに、モデルを新しい不公平度レベルに後から再調整できるか？
• RQ5 連続的OT定式化における双対変数は、トレーニング中に分布の整合性の変化をどれほど正確に反映しているか？

主な発見

• データが限られる状況では、特に初期トレーニング段階でサンプル数が少ない場合、連続的OT手法が離散的OTを上回る優れた性能を発揮する。
• 十分なデータがある場合、連続的OTと離散的OTの両方とも、Wasserstein距離（Wass1）で測定した公平性性能が同等になる。
• 連続的OT手法は、パラメータのシフト後に、低いWass1値に到達するまでの更新回数が少なく、迅速に不公平度レベルの変化に適応する。
• 安定した収束を示し、特に出力分布の裾野において、双対変数が分布シフトを正確に追跡していることが確認された。
• 初期のパラメータ調整後、モデルは新しい不公平度レベルに迅速に再適応可能なパラメータ空間の領域に到達しており、優れた一般化能力と転送性を示している。
• 結果から、連続的OTが、完全な再トレーニングなしに異なる不公平度レベルに後からモデルキャリブレーションを可能にし、実世界システムにおける動的公平性管理を支援できることを示している。