[論文レビュー] Hierarchical VampPrior Variational Fair Auto-Encoder

Philip Botros, Jakub M. Tomczak|arXiv (Cornell University)|Jun 26, 2018

Ethics and Social Impacts of AI参考文献 14被引用数 7

ひとこと要約

本稿では、潜在空間最適化の安定化にVampPriorを統合し、相互情報量（MI）を公平性正則化子として用いることで、公平な表現学習を向上させる階層的VampPrior変分公平オートエンコーダー（H-VFAE）を提案する。モデルは、感受性属性が完全に観測されない状況においても、ベースラインのVFAEを上回る性能を示し、特に感受性属性が部分的に観測される状況では、MI正則化子がより頑健であることが示された。

ABSTRACT

Decision making is a process that is extremely prone to different biases. In this paper we consider learning fair representations that aim at removing nuisance (sensitive) information from the decision process. For this purpose, we propose to use deep generative modeling and adapt a hierarchical Variational Auto-Encoder to learn these fair representations. Moreover, we utilize the mutual information as a useful regularizer for enforcing fairness of a representation. In experiments on two benchmark datasets and two scenarios where the sensitive variables are fully and partially observable, we show that the proposed approach either outperforms or performs on par with the current best model.

研究の動機と目的

• 感受性属性に依存しない表現を学習することで、機械学習におけるバイアスを是正すること。
• 感受性変数が部分的に観測される状況でも、特に公平な表現学習のための深層生成モデリングを改善すること。
• 標準的なVAEの限界（不活性ユニットや劣悪な事後分布崩壊）を、階層的潜在構造を用いることで克服すること。
• 感受性変数の部分的監視状況において、MMDよりも効果的な公平性正則化子として相互情報量を導入すること。
• ベンチマークデータセットを用いた実験を通じて、感受性属性が完全および部分的に観測される状況下でのモデル性能を実証的に検証すること。

提案手法

• 2層の階層的潜在構造（z1：不変表現、z2：階層的事前分布）を用い、感受性要因と予測要因の分離を可能にする。
• z1の事前分布としてVampPriorを採用し、学習可能な成分平均を用いることで、事後分布の近似を改善し、事後分布崩壊を軽減する。
• 変分事後分布を qϕ(z1|x,s)qϕ(y|z1)qϕ(z2|z1,y) と因数分解し、バックプロパゲーションによるエンドツーエンド学習を実現する。
• 潜在表現z1と感受性変数sとの間の相互情報量を変分下界を用いて最小化することで、公平性正則化子として機能させる。
• 再構成損失、KLダイバージェンス、および公平性正則化子（MMDまたはMI）の組み合わせを用いて学習し、予測精度と公平性のバランスを取る。
• MI推定には、1つのモンテカルロサンプルを用いて相互情報量項を近似し、その影響をアブレーションスタディで評価する。

実験結果

リサーチクエスチョン

• RQ1 VampPriorを備えた階層的VAEは、標準VAEと比較して、公平な表現学習を向上させることができるか？
• RQ2 感受性属性が部分的に観測される状況において、MMDと比較して相互情報量正則化は、公平性の強制にどの程度優れているか？
• RQ3 VampPriorは、公平オートエンコーダーにおける事後分布崩壊を軽減し、表現品質を向上させるか？
• RQ4 感受性属性が部分的に監視される状況下で、予測精度と感受性情報の保持の間のトレードオフはどのように変化するか？
• RQ5 感受性属性のデータが少ない、または不確実な状況において、MMDと比較して相互情報量はより頑健な公平性正則化子とみなせるか？

主な発見

• VampPriorを備えたH-VFAEは、元のVFAEと比較して、予測精度を向上させつつ、感受性情報の保持レベルはほぼ同等を維持した。
• 感受性変数が完全に観測される状況では、MMD正則化子がMIをわずかに上回り、感受性情報を低減するが、両者とも高い分類精度を維持した。
• 感受性変数が部分的に観測される状況では、MI正則化子がMMDを著しく上回り、より高い分類精度と低い感受性情報保持を達成した。
• VampPriorは、よりマルチモーダルで均等に分布した潜在空間を実現し、事後分布崩壊を軽減し、表現品質を向上させた。
• モデルは感受性属性に対する強い不変性を達成しており、可視化において異なるグループの潜在表現がほとんど区別できなかった。
• 部分観測状況において、MI正則化子は推定の不確実性に対してより頑健であったと推察され、これはz1とsの間の依存関係を直接モデル化しているためである。