[論文レビュー] Flexibly Fair Representation Learning by Disentanglement

Elliot Creager, David Madras+5 more|arXiv (Cornell University)|Jun 6, 2019

Ethics and Social Impacts of AI被引用数 134

ひとこと要約

本論文は FFVAE を導入する。これは、複数の敏感属性およびそれらの結合に対して離散化された予測可能な潜在因子を学習する変分オートエンコーダであり、推論時に敏感属性を必要とせず属性に依存しない公平性適応をテスト時に実現する。合成データセットと実データセットの両方で、敏感な潜在次元を柔軟に除去またはノイズ化することで、公平性の高い分類性能を示す。

ABSTRACT

We consider the problem of learning representations that achieve group and subgroup fairness with respect to multiple sensitive attributes. Taking inspiration from the disentangled representation learning literature, we propose an algorithm for learning compact representations of datasets that are useful for reconstruction and prediction, but are also \emph{flexibly fair}, meaning they can be easily modified at test time to achieve subgroup demographic parity with respect to multiple sensitive attributes and their conjunctions. We show empirically that the resulting encoder---which does not require the sensitive attributes for inference---enables the adaptation of a single representation to a variety of fair classification tasks with new target labels and subgroup definitions.

研究の動機と目的

• 複数の敏感属性とその交差点を扱える公正な表現学習を動機づける。
• 敏感属性を予測可能でありつつ、非敏感要因からは分離されたコンパクトな潜在表現を学ぶ。
• タスクとラベルを横断して、サブグループ別の人口統計的一致を達成するための、容易で組成可能なテスト時の修正を可能にする。
• 敏感属性を用いて潜在空間を構造化し、テスト時の公正性調整を可能にするVAEベースの手法を提供する。

提案手法

• 非敏感な z と敏感な b 次元を分離する、離散化された多層潜在空間を備えた VAE を拡張する。
• 非敏感再構成と敏感属性予測をモデル化するために、因子分解されたデコーダ p(x|z,b) および p(a|b) を用いる。
• 総相関ペナルティと b と a を結ぶ予測ペナルティにより分離を課す。これは超パラメータ alpha と gamma で制御される。
• 安定性のため、b を非確率的に扱いながら q(z|x) と q(b|x) で訓練する。
• 推論時に選択された b 次元を除去またはノイズ化することを許可し、敏感なグループと独立した公正な表現 [z,b′] を得る。
• Fairness objective L_FFVAE は、再構成、予測性、分離性、事前分布一致項を組み合わせる。 gamma は総相関敵対項を重み付けし、alpha は予測性を重み付けする。

(a) $a$ = Scale

実験結果

リサーチクエスチョン

• RQ1 1つの学習表現を、テスト時に複数の敏感属性およびその結合に対して柔軟に公正にすることができるか？
• RQ2 潜在空間における敏感情報の分離は、さまざまなサブグループ定義に対して人口統計的一致を達成するための組成的な調整を容易にするか？
• RQ3 既存の分離ベースラインと比較して、合成データセットと実データセットにおける FFVAE の精度と公平性指標はどうなるか？
• RQ4 テスト時に敏感情報を除去しても、下流タスクの予測有用性を維持できるか？

主な発見

• FFVAE は推論時に敏感属性を要求せず、テスト時の公正適応を可能にする。
• 予測性の重み alpha を増加させると、分離性と潜在因子を対応する敏感属性に一致させる能力の両方が向上する。
• FFVAE は DSpritesUnfair 合成データセットにおいて、属性の結合に特に効果を発揮し、基準法よりも公正性と精度のトレードオフを改善する。
• Communities & Crime および Celeb-A では、FFVAE は競争力のある公正性-精度パフォーマンスを達成し、複数のサブグループ定義に対して堅牢性を示す。
• 敏感属性とラベルが相関する現実データの難しい状況でも、本手法は有効である。

(b) $a$ = Shape