[論文レビュー] BiaSwap: Removing dataset bias with bias-tailored swapping augmentation

Eungyeup Kim, Jihyeon Lee+1 more|arXiv (Cornell University)|Aug 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 4

ひとこと要約

BiaSwapは、バイアスの種類に関する事前知識を必要とせずにデータセットバイアスを除去するバイアスに特化した画像増幅手法を提案する。クラスアクティベーションマップ（CAMs）とスタイル変換モジュールを活用することで、バイアスに寄与する属性をバイアスに反する画像からバイアスに従う画像へと交換し、バイアスのない訓練サンプルをリアルistically生成する。この手法により、バイアスあり・なしの両方のデータで一般化性能が向上する。

ABSTRACT

Deep neural networks often make decisions based on the spurious correlations inherent in the dataset, failing to generalize in an unbiased data distribution. Although previous approaches pre-define the type of dataset bias to prevent the network from learning it, recognizing the bias type in the real dataset is often prohibitive. This paper proposes a novel bias-tailored augmentation-based approach, BiaSwap, for learning debiased representation without requiring supervision on the bias type. Assuming that the bias corresponds to the easy-to-learn attributes, we sort the training images based on how much a biased classifier can exploits them as shortcut and divide them into bias-guiding and bias-contrary samples in an unsupervised manner. Afterwards, we integrate the style-transferring module of the image translation model with the class activation maps of such biased classifier, which enables to primarily transfer the bias attributes learned by the classifier. Therefore, given the pair of bias-guiding and bias-contrary, BiaSwap generates the bias-swapped image which contains the bias attributes from the bias-contrary images, while preserving bias-irrelevant ones in the bias-guiding images. Given such augmented images, BiaSwap demonstrates the superiority in debiasing against the existing baselines over both synthetic and real-world datasets. Even without careful supervision on the bias, BiaSwap achieves a remarkable performance on both unbiased and bias-guiding samples, implying the improved generalization capability of the model.

研究の動機と目的

• バイアスの種類に関する明示的教師信号を必要とせずに、ディープラーニングにおけるデータセットバイアスに対処すること。
• トレーニングデータにおける誤った相関に依存するのを減らすことで、モデルの一般化性能を向上させること。
• バイアスに従う（バイアスあり）およびバイアスに反する（バイアスなし）の両方のサンプルで高いパフォーマンスを維持すること。
• 意味的コンテンツを保存しながら、バイアス関連属性のみを転送するリアルな増幅手法を開発すること。
• バイアスは学習しやすいという仮定に基づき、教師なしでバイアスに従うおよびバイアスに反するサンプルを特定すること。

提案手法

• バイアスに満ちた分類器からのクラスアクティベーションマップ（CAMs）を用いて、誤った相関が利用されている領域を特定する。
• バイアスに満ちた分類器が学習しやすい属性をどれほど活用しているかに基づき、トレーニング画像を「バイアスに従う」と「バイアスに反する」に分類する。
• CAMsをスタイル変換ベースの画像変換フレームワークに統合し、バイアスに反する画像からバイアスに従う画像へ、バイアス関連属性のみを転送する。
• CAMsをガイドにしたパッチベースの識別器を用いて、局所的で属性特化型のスタイル変換を保証する。
• トレーニングの安定化とソース・ターゲット属性間の整合性向上のため、GCE（一般化交差エントロピー）損失を用いる。
• ソース画像の非バイアス属性を保持しつつ、ターゲット画像のバイアス属性を採用する「バイアス交換済み」画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 バイアスの種類に関する事前知識がなくても、効果的にバイアスを検出し、是正できるか？
• RQ2 バイアス関連属性のみを転送することで、リアルでデバイアスされた訓練サンプルを生成できるか？
• RQ3 バイアスに従うおよびバイアスに反するサンプルの教師なし特定が、モデルの一般化性能を向上させるか？
• RQ4 バイアス交換済み画像は、バイアスありおよびバイアスなしの両方のテスト状況で、既存の増幅ベースのデバイアス手法を上回るか？
• RQ5 増幅画像のリアルさが、不自然なアーティファクトを生じる手法と比較して、デバイアス性能に与える影響は？

主な発見

• BiaSwapは、Colored MNISTで最先端のバイアスなしテスト精度83.74％を達成し、SIN（40.79％）およびバニラモデル（48.76％）を上回った。
• 実世界のBARデータセットでは、BiaSwapが52.44％のバイアスなし精度を達成し、SIN（50.51％）およびバニラベースライン（49.59％）を上回った。
• bFFHQでは、BiaSwapが78.98％のバイアスなし精度を達成し、SIN（69.86％）およびバニラモデル（74.86％）を大きく上回った。
• BiaSwapはバイアスに従うサンプルでも高いパフォーマンスを維持しており、バイアスありデータの精度を犠牲にすることなく、一般化性能が向上していることが示された。
• 可視化結果から、BiaSwapが性別、色、テクスチャなどのバイアス関連属性のみを効果的に転送し、意味的構造を保持していることが確認された。
• SINと比較して、BiaSwapは不自然なアーティファクト（歪んだ形状や一貫性のないテクスチャ）を多く生成せず、よりリアルな増幅画像を生成した。