[論文レビュー] Learning Debiased Representation via Disentangled Feature Augmentation

Jungsoo Lee, Eungyeup Kim+3 more|arXiv (Cornell University)|Jul 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 46

ひとこと要約

本論文は intrinsic と bias 属性を分離する特徴レベルのデータ拡張法を提案し、多様な bias 衝突サンプルを合成して、合成データと実データの両方で debiasing と generalization を改善する。

ABSTRACT

Image classification models tend to make decisions based on peripheral attributes of data items that have strong correlation with a target variable (i.e., dataset bias). These biased models suffer from the poor generalization capability when evaluated on unbiased datasets. Existing approaches for debiasing often identify and emphasize those samples with no such correlation (i.e., bias-conflicting) without defining the bias type in advance. However, such bias-conflicting samples are significantly scarce in biased datasets, limiting the debiasing capability of these approaches. This paper first presents an empirical analysis revealing that training with "diverse" bias-conflicting samples beyond a given training set is crucial for debiasing as well as the generalization capability. Based on this observation, we propose a novel feature-level data augmentation technique in order to synthesize diverse bias-conflicting samples. To this end, our method learns the disentangled representation of (1) the intrinsic attributes (i.e., those inherently defining a certain class) and (2) bias attributes (i.e., peripheral attributes causing the bias), from a large number of bias-aligned samples, the bias attributes of which have strong correlation with the target variable. Using the disentangled representation, we synthesize bias-conflicting samples that contain the diverse intrinsic attributes of bias-aligned samples by swapping their latent features. By utilizing these diversified bias-conflicting features during the training, our approach achieves superior classification accuracy and debiasing results against the existing baselines on synthetic and real-world datasets.

研究の動機と目的

• 多様な bias 衝突サンプルが debiasing と generalization を改善する必要性を動機づける。
• intrinsic と bias 属性の分離表現を提案する。
• 多様な bias 衝突サンプルを合成する特徴置換拡張機構を開発する。
• 分離が進んだ後に拡張を適用するスケジューリング戦略を導入する。
• baselines に対して合成データと実世界の biased データセットで経験的に検証する。

提案手法

• 画像表現を intrinsic (z_i) と bias (z_b) の潜在ベクトルに分割する二つのエンコーダを訓練する。
• z_i と z_b から独立にラベルを予測する線形分類器を用い、bias-conflicting サンプルを強調する joint loss を適用する。
• relative difficulty weight W(z) を計算して bias-conflicting サンプルを識別し intrinsic 属性学習 (L_dis) を促進する。
• サンプル間で潜在成分を交換する（z_swap = [z_i; swapped z_b]）ことで bias-conflicting 拡張特徴を生成する（L_swap）。
• ノイズの多い初期段階のサンプルを避けるため、 partial disentanglement 後に拡張を開始するスケジューリング（アルゴリズム的ワークフロー）。
• Colored MNIST、Corrupted CIFAR-10、および Biased FFHQ（BFFHQ）で baselines と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 多様な bias-conflicting サンプルがトレーニングセットを超えて debiasing 性能を向上させることができるか？
• RQ2 intrinsic と bias 属性を分離することで latent-space 拡張による debiasing が効果的になるか？
• RQ3 拡張のスケジューリングが debiasing 性能に与える影響は？
• RQ4 提案手法は synthetic および real-world biases に対して bias- explicitly な baselines および bias-agnostic baselines と比較してどうか？

主な発見

Dataset	Ratio (%)	Vanilla	HEX	EnD	ReBias	LfF	Ours
Colored MNIST	0.5	35.19	30.33	34.28	70.47	52.50	65.22
Colored MNIST	1.0	52.09	43.73	49.50	87.40	61.89	81.73
Colored MNIST	2.0	65.86	56.85	68.45	92.91	71.03	84.79
Colored MNIST	5.0	82.17	74.62	81.15	96.96	80.57	89.66
Corrupted CIFAR-10	0.5	23.08	13.87	22.89	22.27	28.57	29.95
Corrupted CIFAR-10	1.0	25.82	14.81	25.46	25.72	33.07	36.49
Corrupted CIFAR-10	2.0	30.06	15.20	31.31	31.66	39.91	41.78
Corrupted CIFAR-10	5.0	39.42	16.04	40.26	43.43	50.27	51.13
BFFHQ	0.5	56.87	52.83	56.87	59.46	62.20	63.87

• 多様な bias-conflicting サンプルは データセット全体で debiasing 性能を大幅に向上させる。
• 分離された潜在表現は、特徴置換による多様な bias-conflicting サンプルの効果的な生成を可能にする。
• 部分的な disentanglement 後のスケジュールされた拡張は、全実験で最も公正なテスト精度をもたらす。
• 提案手法は Colored MNIST、Corrupted CIFAR-10、Biased FFHQ に対して bias-explicit および bias-agnostic アプローチを上回る。
• Colored MNIST では、bias-type の事前定義なしでも、他のいくつかの baselines より高いテスト精度を達成する。