[論文レビュー] Discriminatory Transfer

Chao Lan, Jun Huan|arXiv (Cornell University)|Jul 3, 2017

Domain Adaptation and Few-Shot Learning参考文献 8被引用数 8

ひとこと要約

本稿では、標準的な転移学習が、事前に学習されたモデルが公平であっても予測の正確性を向上させる一方で公平性を低下させる現象である「差別的転移（discriminatory transfer）」を導入する。コミュニティと犯罪（Communities and Crime）データセットを用いた仮説転移およびマルチタスク学習において、正則化を用いた情報転送の増加が、等しいオッズ（equalized odds）を指標として測定した場合、一貫して公平性を低下させることを示しており、転移学習における正確性と公平性の新たなトレードオフを明らかにした。

ABSTRACT

We observe standard transfer learning can improve prediction accuracies of target tasks at the cost of lowering their prediction fairness -- a phenomenon we named discriminatory transfer. We examine prediction fairness of a standard hypothesis transfer algorithm and a standard multi-task learning algorithm, and show they both suffer discriminatory transfer on the real-world Communities and Crime data set. The presented case study introduces an interaction between fairness and transfer learning, as an extension of existing fairness studies that focus on single task learning.

研究の動機と目的

• 公平性と転移学習の相互作用を調査すること、特に転移学習が予測の公平性を意図せず低下させるかどうかを明らかにすること。
• 標準的な転移学習アルゴリズム（仮説転移およびマルチタスク学習）が、ソースモデルが公平であっても不平等を引き起こすかどうかを検証すること。
• 情報転送の影響を、等しいオッズ比や差別的影響比といった公平性指標で定量化すること。
• 正確性の向上を維持しながら、公平性の低下を最小限に抑えるための緩和戦略が存在するかどうかを調査すること。
• 単一タスク学習にとどまらず、マルチタスクおよび転移学習の文脈へと公平性研究を拡張すること。

提案手法

• 仮説転移には正則化最小二乗法（Regularized Least Squares, RLS）を用い、ターゲットモデルを正則化係数 λ を介して事前に学習されたソースモデルに近づける。
• ベクトル値レプゼンター定理に基づくマルチタスク学習アルゴリズムを採用し、核行列 A とノルム ||f̲||_H² の正則化項を用いてタスク間の類似性を強制する。
• 公平性は等しいオッズ比（E.O.R）および差別的影響比（D.I.R）を用いて測定し、公平性は予測が感受性属性から条件付き独立であると定義する。
• 情報転送の強度を制御するための λ を変化させながら、コミュニティと犯罪（Communities and Crime）データセット上で実験を実施し、複数の転移設定において正確性と公平性を測定する。
• データ分割やタスク関係の違いを考慮した4つの異なる転移学習設定を分析し、差別的転移の頑健性を評価する。
• α を用いて事前に学習された仮説の公平性を制御し、ソースの公平性が転移過程におけるターゲットの公平性に与える影響を分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースモデルが公平であっても、標準的な転移学習は予測の公平性を低下させるのか？
• RQ2 情報転送の強度（λ で制御）が、転移学習における公平性と正確性のトレードオフにどのように影響するのか？
• RQ3 差別的転移は、正確性の利点を維持しながら、転移学習の過程で緩和可能か？
• RQ4 公平性の低下は、転送プロセスそのものに起因するのか、それともデータそのものに内在するバイアスに起因するのか？
• RQ5 タスク類似度の異なる状況下で、仮説転移とマルチタスク学習という異なる転移学習パラダイムは、公平性の観点でどのように振る舞うのか？

主な発見

• 差別的転移は、仮説転移およびマルチタスク学習の両方で発生する：λ を大きくすることで正確性は向上するが、公平性は低下する。これは、事前に学習されたモデルが公平であっても同様に発生する（α = 1e-4）。
• α = 1e-4（公平な事前に学習されたモデル）の場合、等しいオッズ比（E.O.R）は λ = 1e-7 のとき 0.9787 から λ = 1e-6 のとき 0.9370 に低下するが、正確性は 0.6068 から 0.6277 に向上する。
• λ = 1e-5 のとき、公平性は回復し始める（E.O.R 0.9729）ことから、公平性を維持または回復可能な潜在的な緩和領域が存在することが示唆される。
• α = 1（不平等な事前に学習されたモデル）の場合、すべての λ 値において公平性は低く保たれる（E.O.R 0.2908）ことから、不平等なソースモデルはバイアスを伝搬することがわかる。
• 4つのすべての転移設定において、仮説転移およびマルチタスク学習は差別的転移を示す：λ が増加するにつれて正確性は上昇するが、公平性は低下する。
• この現象は、異なる転移設定およびカーネルモダリティの間で一貫しており、Frobenius および他のカーネルベースのマルチタスク学習設定でも類似した傾向が観察された。