[論文レビュー] Feature Noise Induces Loss Discrepancy Across Groups

Fereshte Khani, Percy Liang|arXiv (Cornell University)|Nov 22, 2019

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文は、特徴量ノイズが、グループ間で一様に適用されても、線形回帰において統計的損失差異を引き起こすことを示している。主な要因はグループ間の平均および分散の違いである。重要な発見は、無限のデータと情報不足がなくとも、損失差異が持続することであり、グループ情報を用いることで統計的損失差異は減少するが、反事後的損失差異は増加し、分布シフトに対してより頑健になることである。

ABSTRACT

The performance of standard learning procedures has been observed to differ widely across groups. Recent studies usually attribute this loss discrepancy to an information deficiency for one group (e.g., one group has less data). In this work, we point to a more subtle source of loss discrepancy---feature noise. Our main result is that even when there is no information deficiency specific to one group (e.g., both groups have infinite data), adding the same amount of feature noise to all individuals leads to loss discrepancy. For linear regression, we thoroughly characterize the effect of feature noise on loss discrepancy in terms of the amount of noise, the difference between moments of the two groups, and whether group information is used or not. We then show this loss discrepancy does not vanish immediately if a shift in distribution causes the groups to have similar moments. On three real-world datasets, we show feature noise increases the loss discrepancy if groups have different distributions, while it does not affect the loss discrepancy on datasets where groups have similar distributions.

研究の動機と目的

• 情報不足（データ不足やバイアスのあるターゲットなど）が存在しない状況でも、特徴量ノイズがグループ間で損失差異を引き起こすかどうかを調査すること。
• グループ情報の使用が線形回帰モデルにおける統計的損失差異および反事後的損失差異に与える影響を分析すること。
• 特に訓練分布とテスト分布の違いが差異に与える影響を踏まえ、共変量シフト下でも損失差異が持続する理由を理解すること。
• 平均、分散、サイズにグループ差を持つ実世界のデータセットを用いて、理論的発見を検証すること。

提案手法

• 個人がグループ g ∈ {0,1} に属する線形回帰の設定を用い、潜在的特徴量 z から y = βᵀz + α がターゲットとして生成される。
• 観測された特徴量 x は、2つの観測関数 o₋g(z,g,u) = z + u（グループ情報なし）および o₊g(z,g,u) = [z + u, g]（グループ情報あり）を介して z のノイズ付きバージョンとしてモデル化され、u は平均ゼロのノイズである。
• 統計的損失差異（SLD）は、グループ間の期待損失の差として定義され、反事後的損失差異（CLD）は、ある個人と、他グループからの反事後的個人との間の損失差を測定する。
• 理論的分析により、SLD と CLD が生じる条件を導出し、SLD がグループのモーメント（平均、分散、サイズ）の差に依存するのに対し、CLD はグループ情報の使用時に訓練分布の差に起因することを示した。
• 損失差異を訓練分布およびテスト分布のモーメントに依存する成分に分解し、グループのモーメントが類似している場合、分布シフト後に SLD が直ちに消滅することを示した。
• 実世界のデータセット（Students, Law School, Communities&Crime）3つを用いて、追加ノイズおよび特徴量省略をノイズの代理として用い、実証的検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 両グループに無限のデータがあり、情報不足がない状況でも、特徴量ノイズが統計的損失差異を引き起こすか？
• RQ2 観測関数にグループメンバーシップを組み込むと、統計的損失差異および反事後的損失差異にどのような影響を与えるか？
• RQ3 共変量シフト下でも損失差異はどの程度持続するか？また、グループ情報の使用はその持続性にどのように影響するか？
• RQ4 データ収集やグループ固有の分類器によって損失差異を軽減できるか、それともノイズおよび分布差に起因する本質的特徴か？
• RQ5 分布シフト後に損失差異が消滅する条件は何か？また、グループ情報の使用はその挙動をどのように変化させるか？

主な発見

• 特徴量ノイズは、無限のデータと情報不足がなくとも、線形回帰において統計的損失差異を引き起こす。この差異は、残差損失ではグループ平均の差に比例し、二乗誤差損失ではグループ分散の差に比例する。
• グループ情報を用いることで統計的損失差異は減少するが、反事後的損失差異は増加し、公平性指標の間にはトレードオフが存在する。
• グループ情報なしの観測関数 o₋g による統計的損失差異は、主にテスト分布の差に起因し、分布シフト後にグループのモーメントが類似すれば直ちに消滅する。
• グループ情報ありの観測関数 o₊g による反事後的損失差異は、主に訓練分布の差に起因し、分布シフト後も直ちに消滅せず、より持続的である。
• 平均、分散、サイズにグループ差を持つ実世界のデータセット（Communities&Crime や Students）では、特徴量ノイズが損失差異を増加するが、グループが類似する Law School のようなデータセットではノイズに影響されない。
• グループ平均を等しくする再重み付けを施した後、o₋g の統計的損失差異は直ちに消滅するが、o₊g の損失差異は、命題3の理論的分析と整合的な速度でゆっくりと減少する。