[論文レビュー] Latent Adversarial Debiasing: Mitigating Collider Bias in Deep Neural Networks

Luke Nicholas Darlow, Stanisław Jastrzȩbski+1 more|arXiv (Cornell University)|Nov 19, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 9

ひとこと要約

本稿では、VQ-VAEの潜在空間において敵対的サンプルを生成することで、因果的信号から学習しやすい交絡信号を分離する、ラティント敵対的デバイアス化（LAD）を提案する。LADは、ラベルなしデバイアス化において最先端の性能を達成し、背景色が付加されたMNISTでは76.12%、前面色が付加されたMNISTでは35.47%、汚染されたCIFAR-10では8.27%のテスト精度向上を達成しており、学習データが100%バイアスを含んでも有効である。

ABSTRACT

Collider bias is a harmful form of sample selection bias that neural networks are ill-equipped to handle. This bias manifests itself when the underlying causal signal is strongly correlated with other confounding signals due to the training data collection procedure. In the situation where the confounding signal is easy-to-learn, deep neural networks will latch onto this and the resulting model will generalise poorly to in-the-wild test scenarios. We argue herein that the cause of failure is a combination of the deep structure of neural networks and the greedy gradient-driven learning process used - one that prefers easy-to-compute signals when available. We show it is possible to mitigate against this by generating bias-decoupled training data using latent adversarial debiasing (LAD), even when the confounding signal is present in 100% of the training data. By training neural networks on these adversarial examples,we can improve their generalisation in collider bias settings. Experiments show state-of-the-art performance of LAD in label-free debiasing with gains of 76.12% on background coloured MNIST, 35.47% on fore-ground coloured MNIST, and 8.27% on corrupted CIFAR-10.

研究の動機と目的

• データ収集プロトコルに起因して交絡信号が優勢となる、サンプル選択バイアスの代表的形態たるコリーダーバイアスに対処すること。
• 勾配ベースの学習が、より学びやすい交絡信号を優先し、より難しい因果的信号を無視するDNNの傾向を克服すること。
• バイアスフリーの学習データにアクセスできないラベルなしデバイアス化手法を開発し、実世界での展開に耐性を持たせること。
• 潜在空間における敵対的摂動が、交絡信号と因果的信号を効果的に分離できることを示し、一般化性能の向上を実現すること。
• バイアスと真の信号の混合度合いを段階的に高めたベンチマークデータセット上で、手法の有効性を検証すること。

提案手法

• VQ-VAEを用いてデータ多様体をモデル化し、潜在空間で因果的信号と交絡信号を分離する。
• 潜在空間における勾配ベースの敵対的摂動を適用し、交絡特徴に依存しないデバイアス化サンプルを生成する。
• 潜在空間における敵対的ウォークを用いて表現を摂動し、交絡信号を分類ターゲットから分離する。
• 摂動された潜在コードを元に戻して画像空間に再構築し、コリーダーバイアスが軽減された拡張学習データを生成する。
• 敵対的に拡張されたデータで分類器を学習させ、因果的信号に依存するのを強制する。
• 摂動が、学習しやすい交絡特徴のうち特に顕著なものを的確に狙う勾配ベースの最適化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における敵対的サンプルは、深層ニューラルネットワークにおいて交絡信号と因果的信号を効果的に分離できるか？
• RQ2 本稿で提案するLAD手法は、バイアスフリーの例が一切ない100%バイアスな学習データのもとでも、モデルの一般化性能を向上させることができるか？
• RQ3 強いコリーダーバイアス下で、LADは先行する最先端手法と比較してどのように性能を発揮するか？
• RQ4 LADは、偽の相関を除去しながら、データの真の意味的コンテンツをどの程度保持できるか？
• RQ5 LADは、JPEG圧縮やピクセル化など、非可逆的で高レベルの混合を示す歪みに対しても一般化可能か？

主な発見

• 背景色が付加されたMNISTでは、ベースラインモデルと比較してLADが76.12%のテスト精度向上を達成し、強力なデバイアス化性能を示した。
• 前面色が付加されたMNISTでは、LADが35.47%の精度向上を達成し、バイアスが物体に重ねられている場合でも有効であることが示された。
• 汚染されたCIFAR-10では、JPEG圧縮やピクセル化といった非可逆的歪みが存在する中で、LADがテスト精度を8.27%向上させた。
• LADは、LFWのような先行手法（95%のバイアス比を必要としていた）を上回り、100%バイアスの状況でも同等の結果を達成した。
• LADからの再構築は意味的コンテンツを良好に保持しているが、汚染されたCIFAR-10のような高レベルの混合状況ではぼやけた数字などのアーチファクトが一部に見られた。
• 交絡信号がクラスラベルと強く相関し、逆転が困難な状況でも、LADは有効であることが示され、非可逆的データ歪みに対しても耐性があることが示された。