[論文レビュー] The Variational Fair Autoencoder

Christos Louizos, Kevin Swersky+3 more|UvA-DARE (University of Amsterdam)|Nov 3, 2015

Ethics and Social Impacts of AI被引用数 179

ひとこと要約

変分公平オートエンコーダー（VFAE）は、変分オートエンコーダーと最大平均差分（MMD）ペナルティを組み合わせることで、感度因子（例：性別、照明）と潜在表現との間の依存関係を除去し、分離可能で不変な表現を学習する。この手法は、公平な表現学習およびドメイン適応において最先端の性能を達成し、拡張ヤングBデータセットにおいて感度属性の分類精度を96％から50％に低下させつつ、分類精度を78％から85％に向上させた。

ABSTRACT

We investigate the problem of learning representations that are invariant to certain nuisance or sensitive factors of variation in the data while retaining as much of the remaining information as possible. Our model is based on a variational autoencoding architecture with priors that encourage independence between sensitive and latent factors of variation. Any subsequent processing, such as classification, can then be performed on this purged latent representation. To remove any remaining dependencies we incorporate an additional penalty term based on the "Maximum Mean Discrepancy" (MMD) measure. We discuss how these architectures can be efficiently trained on data and show in experiments that this method is more effective than previous work in removing unwanted sources of variation while maintaining informative latent representations.

研究の動機と目的

• データ内の既知の不要要因または感度因子の変動に対して不変な、分離可能な潜在表現を学習すること。
• クラスタリングに依存するか、高次モーメントの依存関係をペナルティ化しない既存の公平な表現学習手法の限界を是正すること。
• 感度属性に関する情報を除去しつつ、タスク関連の情報を保持することで、分類タスクにおける一般化性能を向上させること。
• 因子化された事前分布とMMDに基づく事後分布の整合性を用いた二重正則化戦略を変分オートエンコーダーに拡張し、不変性を強制すること。
• 公平な表現学習およびドメイン適応の両分野において、従来手法を上回る性能を示し、精度と不変性のトレードオフを改善すること。

提案手法

• 潜在コードzと感度変数sの間の周辺的独立性を促進するために、因子化された事前分布p(z)p(s)を用いた深層変分オートエンコーダーのアーキテクチャを採用する。
• エンコーダqϕ(z|x,s)は、事後分布と事前分布のKLダイバージェンスを最小化することで、sに対して条件付き独立になるように学習する。
• 感度変数sのすべての値kについて、事後分布qϕ(z|s=k)の差を最小化するためのMMDペナルティを適用し、潜在分布のすべてのモーメントをターゲットにする。
• 標準的なVAEのELBOとMMD正則化項を組み合わせた目的関数を用い、表現品質と不変性を同時に最適化する。
• SGVB（再パラメータ化）勾配推定器を用いて、VAEおよびMMDの両成分を微分可能に最適化可能なエンドツーエンドの学習を実施する。
• 無教師および半教師あり学習の両方をサポートし、後続の分類タスクと併せて表現学習を最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダーは、データ内の感度因子や不要要因の変動に対して不変な表現を効果的に学習できるように拡張可能だろうか？
• RQ2 単なる平均レベルの整合性を超えて、感度属性と潜在表現との間の高次統計的依存関係をどのように除去できるか？
• RQ3 因子化された事前分布とMMD正則化を組み合わせることで、単一の正則化形式に依存する既存手法よりも、より優れた分離性と不変性が達成できるだろうか？
• RQ4 このようなモデルは、後続の分類タスクにおける公平性と一般化性能をどの程度向上させられるだろうか？
• RQ5 敵対的およびドメイン正則化手法と比較して、VFAEはドメイン適応のための不変表現学習において、どの程度優れた性能を示すだろうか？

主な発見

• 拡張ヤングBデータセットにおいて、VFAEは感度属性（照明）の分類精度を96％から約50％に低下させ、不要な変動の強力な除去を示した。
• 同じモデルは、アイデンティティラベルの分類精度を78％から85％に向上させ、不要要因を除去した後のタスク性能の向上を確認した。
• VFAEは、同じタスクで82％の精度を報告したNN + MMDベースラインよりも、不変性と精度のトレードオフにおいて優れた性能を示した。
• t-SNE可視化では、VFAE処理後、データポイントが主にアイデンティティ（y）ではなく照明（s）ごとにクラスタリングされていることが確認され、成功した分離性が裏付けられた。
• クラスタリングに基づくペナルティが捉えきれない高次モーメント漏れを処理することで、VFAEは従来のアプローチを上回る公平な表現学習の性能を発揮した。
• 敵対的ドメイン適応手法と比較して、VFAEは競争力ある性能を示し、不変表現学習の有効性を裏付けた。