[論文レビュー] On the Fairness of Disentangled Representations

Francesco Locatello, Gabriele Abbati+4 more|arXiv (Cornell University)|May 31, 2019

Adversarial Robustness in Machine Learning参考文献 94被引用数 8

ひとこと要約

この論文は、感受性属性が観測されない状況下で、分離表現が下流の予測タスクにおける公平性を向上させるかを調査する。12,600以上のモデルを対象とした分析から、特にDCIスコアで測定される高い分離度が、一貫して不平等の低減と相関していることが示された。これは、公平な表現学習のための実用的なインダクティブバイアスとしての分離度の有効性を支持する。

ABSTRACT

Recently there has been a significant interest in learning disentangled representations, as they promise increased interpretability, generalization to unseen scenarios and faster learning on downstream tasks. In this paper, we investigate the usefulness of different notions of disentanglement for improving the fairness of downstream prediction tasks based on representations. We consider the setting where the goal is to predict a target variable based on the learned representation of high-dimensional observations (such as images) that depend on both the target variable and an \emph{unobserved} sensitive variable. We show that in this setting both the optimal and empirical predictions can be unfair, even if the target variable and the sensitive variable are independent. Analyzing the representations of more than um{12600} trained state-of-the-art disentangled models, we observe that several disentanglement scores are consistently correlated with increased fairness, suggesting that disentanglement may be a useful property to encourage fairness when sensitive variables are not observed.

研究の動機と目的

• 感受性変数が観測されない状況下で、分離表現が下流の予測タスクにおける公平性を向上させるかを調査すること。
• ターゲット変数と感受性変数が独立している場合でも、最適または実際の予測が不平等である可能性があるかを分析すること。
• 多様なデータセットを対象に、最先端の分離表現に基づいて学習された下流モデルの公平性を評価すること。
• 分離度スコアと公平性の関係、特にデモグラフィックパリティ制約下での関係を検討すること。
• 下流の予測精度を損なわせることなく、分離度が公平性を向上させるかを評価すること。

提案手法

• 著者らは、7つのデータセットを対象に、12,600を超える訓練済みの最先端の分離表現モデルの表現を分析した。
• 下流の公平性は、デモグラフィックパリティを用いて、感受性グループごとの予測の公平性を測定することで評価した。
• 分離度は、DCI分離度スコア、Factor-VAE、その他の6つの既存の指標を用いて定量化した。
• 異なる分離度レベルを持つ表現に基づいて学習された下流分類器の公平性を比較した。
• 統計的分析により、分離度スコアと公平性の相関関係を、下流の予測精度を制御した上で検証した。
• 理論的分析により、感受性変数とターゲット変数が観測においてエンタングルされている場合、たとえベイズ最適分類器であっても不平等である可能性があることが示された。

実験結果

リサーチクエスチョン

• RQ1 感受性属性が観測されない状況下で、分離表現は下流の予測タスクにおける不平等を低減できるか？
• RQ2 多様なデータセットやモデルにおいて、分離度スコアと公平性の間に一貫した相関関係が存在するか？
• RQ3 分離度が向上することで、下流の予測精度を損なわせることなく公平性が向上するか？
• RQ4 訓練時に感受性属性のラベルが入手不可であっても、表現学習のみで公平性を向上させられるか？
• RQ5 分離度の測定指標の選択が、下流の公平性結果にどのように関連するか？

主な発見

• ターゲット変数と感受性変数が独立している場合でも、観測におけるエンタングルメントのため、下流の予測が不平等である可能性がある。
• DCI分離度スコアは、評価されたすべてのデータセットにおいて、公平性の向上と強く一貫した相関関係を示した。
• 12,600を超える分離表現モデルを評価した結果、使用する表現によって公平性に顕著な差が生じることが明らかになった。
• 下流の予測精度を制御しても、分離度と公平性の相関関係は依然として維持された。
• 分離度は、公平な表現学習における有用なインダクティブバイアスとして機能することが示された。これは、分離度が公平な表現学習に果たす役割に関する理論的仮説を支持する。
• 結果から、分離度が感受性属性の間接的漏洩を緩和する可能性があることが示唆され、これらの属性に対する明示的教師信号がなくても有効であると考えられる。