[論文レビュー] Fairness Without Demographics in Repeated Loss Minimization

Tatsunori Hashimoto, Megha Srivastava+2 more|arXiv (Cornell University)|Jun 20, 2018

Retirement, Disability, and Employment被引用数 108

ひとこと要約

本論文は、グループ識別が未知の場合、経験的リスク最小化が時間とともに表現格差を拡大し得ることを示し、潜在グループ全体の最悪リスクを制限するためのdistributionally robust optimizationを導入して、シミュレーションと実世界のタスクの両方でマイノリティの成果を改善する。

ABSTRACT

Machine learning models (e.g., speech recognizers) are usually trained to minimize average loss, which results in representation disparity---minority groups (e.g., non-native speakers) contribute less to the training objective and thus tend to suffer higher loss. Worse, as model accuracy affects user retention, a minority group can shrink over time. In this paper, we first show that the status quo of empirical risk minimization (ERM) amplifies representation disparity over time, which can even make initially fair models unfair. To mitigate this, we develop an approach based on distributionally robust optimization (DRO), which minimizes the worst case risk over all distributions close to the empirical distribution. We prove that this approach controls the risk of the minority group at each time step, in the spirit of Rawlsian distributive justice, while remaining oblivious to the identity of the groups. We demonstrate that DRO prevents disparity amplification on examples where ERM fails, and show improvements in minority group user satisfaction in a real-world text autocomplete task.

研究の動機と目的

• 未知のグループラベルを持つ逐次学習における表現格差とその拡大を動機づける。
• 潜在グループ全体の最悪ケースリスクを制限し、時間とともにマイノリティの成果を安定化させるためのDROベースのアプローチを提案する。
• DROとグループ別リスク制御および保持ダイナミクスを結びつける理論的保証を提供する。
• シミュレーションタスクと実世界のオートコンプリート実験におけるDROの実証的利点を示す。

提案手法

• データを、識別情報が未知のK個の潜在グループから来るものとして扱い、時間を通じて最悪ケースのグループリスクを最小化することを目指す。
• 経験分布の周りにカイ二乗発散球を採用し、分布上ロバストリスク R_dro(θ; r) を定義して高損失の例をウェイトアップする。
• 各グループについて r_k = (1/α_k − 1)^2 で R_k(θ) ≤ R_dro(θ; r_k) であることを示し、全体の最悪ケースリスクを上回らないように r_max = (1/α_min − 1)^2 を用いる。
• η パラメータと (ℓ(θ; Z) − η)_+ 項を含む代替式 F(θ; η) を用いたDRO目的関数を最適化できる対偶定式を提供する。
• 対偶目的関数上の SGD による θ 更新と η の選択（例: バイナリサーチ）を交互に行う最適化ルーチンを概説し、実用的なDROソルバーを生み出す。
• ERM と比較してDRO がよりロバストでマイノリティに有利な固定点を生み出し得る安定性への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 人口統計的アイデンティティが利用できない場合、ERM は時間とともに格差を拡大させるか。
• RQ2 DRO は最悪ケースのグループリスクに関する理論的および経験的な境界を提供し、逐次更新を通じてマイノリティの成果を安定化できるか。
• RQ3 シミュレーションおよび実世界のタスク（例: オートコンプリート）でDROがERMと比較してマイノリティの満足度と保持を改善するか。
• RQ4 DRO を用いた場合、α_min という最小のマイノリティ比を保証する条件下で時間とともに R_max を制御できるのはどの条件か。

主な発見

• ERM は格差の拡大と不安定な固定点のために時間とともに不公平になり得る。
• DRO は最悪ケースのグループリスクを制限し、マイノリティ比の下限を設定すれば、時間を通じて最悪ケースリスクを制御する。
• シミュレーションでは、DRO がマイノリティの精度崩壊を防ぎ、グループ間で均衡のとれたパフォーマンスを維持する。
• Mechanical Turk のオートコンプリート研究では、DRO がマイノリティの満足度を 3.7 から 4.0、マイノリティの保持を 0.7 から 0.85 に改善した。
• DRO は満足度と保持の改善を通じてマイノリティユーザー数を増加させ、実践的な利点を示している。