[論文レビュー] Fairness for Image Generation with Uncertain Sensitive Attributes

Ajil Jalal, Sushrut Karmalkar+3 more|arXiv (Cornell University)|Jun 23, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

この論文は、保護群の事前定義が不要な画像生成のための公平性定義である条件付き割合的表現（CPR）を導入する。CPRは、再構築された画像が保護群に割合的に表現されることを保証する。また、ラベルに依存せずに、ラングジュアン・ダイナミクスを用いた事後分布サンプリングがCPRを無知的に達成できることを証明する。これにより、人種のような曖昧または議論の余地のある感受性属性に対しても頑健になる。

ABSTRACT

This work tackles the issue of fairness in the context of generative procedures, such as image super-resolution, which entail different definitions from the standard classification setting. Moreover, while traditional group fairness definitions are typically defined with respect to specified protected groups -- camouflaging the fact that these groupings are artificial and carry historical and political motivations -- we emphasize that there are no ground truth identities. For instance, should South and East Asians be viewed as a single group or separate groups? Should we consider one race as a whole or further split by gender? Choosing which groups are valid and who belongs in them is an impossible dilemma and being "fair" with respect to Asians may require being "unfair" with respect to South Asians. This motivates the introduction of definitions that allow algorithms to be \emph{oblivious} to the relevant groupings. We define several intuitive notions of group fairness and study their incompatibilities and trade-offs. We show that the natural extension of demographic parity is strongly dependent on the grouping, and \emph{impossible} to achieve obliviously. On the other hand, the conceptually new definition we introduce, Conditional Proportional Representation, can be achieved obliviously through Posterior Sampling. Our experiments validate our theoretical results and achieve fair image reconstruction using state-of-the-art generative models.

研究の動機と目的

• 人種のような曖昧または議論の余地のある感受性属性（例：人種）がある場合、従来のグループ公平性定義が機能しない画像生成における公平性を扱う。
• 保護群（例：アジア系対南アジア系）を定義することは本質的に政治的で文脈依存的であり、標準的な公平性定義の根拠を弱める。
• 事前定義されたグループ化に依存しない公平性フレームワークを提案し、すべての可能なグループ化を同時に公平に保証する。
• 感受性属性ラベルへのアクセスがなくても公平性を達成する手法を開発・検証し、グループの曖昧性に対して頑健であることを保証する。
• PULSEのような既存手法が、多様なデータで訓練されたとしても、モデルの事前分布とデータの不均衡により、画像再構築でバイアスを悪化させることを示す。

提案手法

• 条件付き割合的表現（CPR）を導入する。これは、グループからのサンプルが生成される確率が、データ内での事前頻度に比例することを保証する公平性の概念である。
• ラングジュアン・ダイナミクスを用いた事後分布サンプリングが、グループ識別子の知識なしにCPRを達成できることを証明する。
• CPRと表現的デモグラフィックパリティ（RDP）の不適合性を形式化し、RDPが恣意的なグループ定義に強く依存することを示す。
• ベイズ推論を用いて画像再構築の事後分布をモデル化し、確率的サンプリングによって公平性を確保する。
• 深層生成モデルとラングジュアン・ダイナミクスを用いて事後分布からのサンプリングを実装し、決定的再構築バイアスを回避する。
• FFHQおよびAFHQデータセットを用いた画像超解像タスクにおいて、PULSEや他のベースラインと比較して、本手法の有効性を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 人種や民族のような恣意的または議論の余地のあるグループ定義（例：人種）に依存しない、画像生成における公平性を定義できるか？
• RQ2 どのような公平性定義が、無知性（＝グループラベルが不要）と整合するか？すなわち、すべての可能なグループ化において公平性を達成できるか？
• RQ3 PULSEのような既存の生成モデルが、多様なデータで訓練されたとしても、なぜ人種的バイアスを含む再構築を生じるのか？
• RQ4 一度のアルゴリズムで、感受性属性の事前知識なしに、すべての可能なグループ化において公平性を同時に達成できるか？
• RQ5 デモグラフィックパリティや独立性制約に依存せずに、グループの割合的表現を保証する画像生成における公平性概念は存在するか？

主な発見

• 表現的デモグラフィックパリティ（RDP）は保護群の選定に強く依存しており、無知的に達成できない。これは、人種のような曖昧な属性には不適切である。
• 条件付き割合的表現（CPR）は、グループラベルが不要な、概念的に新しい公平性定義であり、グループの割合的表現を保証する。
• ラングジュアン・ダイナミクスによる事後分布サンプリングは、CPRを完全に無知的に達成できる唯一の既知の手法であり、グループの曖昧性に対しても頑健である。
• 実験では、PULSEがドッグが80%の多数派である場合にネコの80%をイヌに再構築することが判明し、モデルの事前分布とデータの不均衡による深刻なバイアスを示している。
• バランスの取れた設定では、事後分布サンプリングはRDP、SPE、PRを満たすが、PULSEは公平性を維持できず、理論的主張を確認している。
• 表現の公平性が満たされていても、代表されないグループの再構築品質が悪いと、公平性が損なわれる可能性がある。これは、品質に配慮した公平性指標の必要性を強調している。