[論文レビュー] Group Retention when Using Machine Learning in Sequential Decision Making: the Interplay between User Dynamics and Fairness

Xueru Zhang, Khalili, Mohammad Mahdi+2 more|arXiv (Cornell University)|May 2, 2019

Insurance, Mortality, Demography, Risk Management被引用数 14

ひとこと要約

この論文は、機械学習における公平性基準が順次的意思決定システムにおける長期的グループ代表性に与える影響を調査し、マッチングされていない公平性定義が時間経過とともに代表性格差を悪化させることを示している。本研究は、公平性基準をリテンション要因に一致させるためにユーザー動態モデルを提案し、ユーザー離脱／到着メカニズムと一致する公平性基準のみがグループ代表性を維持できることを示している。実証的結果から、EqLos公平性がグループバランスを維持する一方で、他の基準は除外的傾向を助長することが確認された。

ABSTRACT

Machine Learning (ML) models trained on data from multiple demographic groups can inherit representation disparity (Hashimoto et al., 2018) that may exist in the data: the model may be less favorable to groups contributing less to the training process; this in turn can degrade population retention in these groups over time, and exacerbate representation disparity in the long run. In this study, we seek to understand the interplay between ML decisions and the underlying group representation, how they evolve in a sequential framework, and how the use of fairness criteria plays a role in this process. We show that the representation disparity can easily worsen over time under a natural user dynamics (arrival and departure) model when decisions are made based on a commonly used objective and fairness criteria, resulting in some groups diminishing entirely from the sample pool in the long run. It highlights the fact that fairness criteria have to be defined while taking into consideration the impact of decisions on user dynamics. Toward this end, we explain how a proper fairness criterion can be selected based on a general user dynamics model.

研究の動機と目的

• 順次機械学習システムにおける公平性基準の長期的影響がグループ代表性に与える影響を理解すること。
• ユーザー動態（到着および離脱）が機械学習意思決定および公平性介入とどのように相互作用するかをモデル化すること。
• 公平性基準が時間経過とともに代表性格差を悪化または緩和する条件を特定すること。
• グループ代表性の縮小を防ぐために、ユーザーリテンション動態と整合する公平性基準の選定フレームワークを提唱すること。

提案手法

• 時間変動する特徴分布とグループサイズを追跡する2つのデモグラフィックグループを有する順次意思決定モデルを構築する。
• 離脱／到着レートが意思決定結果（例：偽陽性／偽陰性率、認識された損失）に依存するユーザーリテンションモデルを導入する。
• 統計的同等性、等しい機会、等しいオッズ、EqLos の4つの公平性基準が、異なるユーザー動態下でどのように影響を及ぼすかを分析する。
• 一般化されたユーザー動態モデルを用いて、公平性基準がグループ代表性を維持するか、悪化させるかの条件を導出する。
• 変動する特徴分布と到着レートを想定したシミュレーション実験を実施し、長期的なグループ割合の変化を評価する。
• ベイズ最適意思決定と、システム内に残存するユーザーから学習された意思決定を比較し、モデル精度の低下が及ぼす影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般的に用いられる公平性基準は、順次的意思決定システムにおいて、時間経過とともにグループ代表性にどのように影響を与えるか？
• RQ2 公平性介入が、劣位なグループの除外、ひいては絶滅にまで至る条件は何か？
• RQ3 統計的公平性を満たしても、なぜ一部の公平性基準がグループ代表性を維持できないのか？
• RQ4 公平性基準とユーザーリテンションメカニズムの整合性が、長期的なシステム公平性にどのように影響を与えるか？
• RQ5 ユーザー動態モデルは、代表性格差の悪化を防ぐための公平性基準の選定を支援できるか？

主な発見

• 統計的同等性や等しい機会といった一般的に用いられる公平性基準では、劣位グループが時間経過とともに除外されたり、システムから消滅する可能性がある。特に、多数派グループよりも損失が低い場合に顕著である。
• EqLos公平性基準（グループ間の損失を均等化）は、非対称な到着レート下でも、無限時間のスパンにおいてグループ代表性を維持する。
• ユーザー離脱の要因（例：偽陰性率や認識された損失）と一致しない公平性基準では、公平性の保証があっても、代表性格差が悪化する。
• ユーザー数が減少するプールから意思決定を学習することは、モデル精度を悪化させ、特にSimple、EqOpt、StatPar公平性下で、代表性格差を加速する。
• ユーザー動態がサブグループ固有の認識損失によって駆動されるシステムでは、いかなる公平性基準でもグループ代表性を維持できない。これは、メカニズムに配慮した公平性の必要性を示唆する。
• 実証的結果から、意思決定が縮小するユーザーベースから学習される場合、グループ代表性格差が最も顕著になることが確認された。特に、公平性定義が一致しない場合に顕著である。