[論文レビュー] Turning a Blind Eye: Explicit Removal of Biases and Variation from Deep Neural Network Embeddings

Mohsan Alvi, Andrew Zisserman+1 more|arXiv (Cornell University)|Sep 6, 2018

Face recognition and analysis参考文献 27被引用数 13

ひとこと要約

本稿では、ドメイン適応にインspiredされた手法、JLU（ジャコビアンに基づく線形アンラーニング）を提案し、年齢、性別、先祖のルーツ、ポーズなどの複数の誤ったバイアス——例えば、深層ニューラルネットワークの埋め込みから明示的に除去することを目的としている。補助分類器を訓練してこれらのバイアスを予測し、それらの交差エントロピーを一様分布と最小化することで、特徴空間がこれらの変動に対して無知になるようにし、主なタスクのパフォーマンスを維持する。偏ったデータで学習した場合、バイアスのないテストセットで最大20%の精度向上を達成している。

ABSTRACT

Neural networks achieve the state-of-the-art in image classification tasks. However, they can encode spurious variations or biases that may be present in the training data. For example, training an age predictor on a dataset that is not balanced for gender can lead to gender biased predicitons (e.g. wrongly predicting that males are older if only elderly males are in the training set). We present two distinct contributions: 1) An algorithm that can remove multiple sources of variation from the feature representation of a network. We demonstrate that this algorithm can be used to remove biases from the feature representation, and thereby improve classification accuracies, when training networks on extremely biased datasets. 2) An ancestral origin database of 14,000 images of individuals from East Asia, the Indian subcontinent, sub-Saharan Africa, and Western Europe. We demonstrate on this dataset, for a number of facial attribute classification tasks, that we are able to remove racial biases from the network feature representation.

研究の動機と目的

• 訓練データから学習し、拡大する誤ったバイアス（性別、年齢、先祖のルーツなど）を深層ニューラルネットワークが学習する問題に対処すること。
• 主な分類タスクのパフォーマンスを損なわせることなく、学習された特徴表現から既知のバイアスを明示的に除去する手法を開発すること。
• 偏ったデータセットで学習することで、バイアスのないテストデータに対するモデルの一般化性能を向上させること。
• バイアス低減研究を支援するため、14,000枚の画像を含む新しい多様な先祖のルーツデータセット（LAOFIW）を構築・公開すること。
• 複数の誤った変動を同時に除去することで、顔貌属性分類における公平性と耐性が向上することを示すこと。

提案手法

• この手法は、主なネットワークの特徴埋め込みから誤った変動（例：性別、年齢、ポーズ）を予測する補助分類器を使用する。
• 各誤った変動の予測分布と一様分布との間の交差エントロピーを最小化することで、ネットワークがこれらの属性について情報を持たないよう促進する。
• JLUアルゴリズムは学習中に適用され、特徴抽出器が指定されたバイアスに対して不変になるようにファインチューニングされる。
• アプローチはドメイン適応にインspiredされており、対照的な目的関数を用いて、特徴空間を不要な変動に対して無知にするように整列させる。
• 複数の誤った変動に対して、順次または同時に適用され、各々のタスクにおける下流分類精度を評価することで性能を評価する。
• 異なるバイアスのアンラーニングの難易度の差を考慮するため、動的重み付け方式が提案されている。

実験結果

リサーチクエスチョン

• RQ1 主な分類タスクのパフォーマンスを維持したまま、性別、年齢、先祖のルーツ、ポーズなどの複数の誤った変動に対して、深層ニューラルネットワークを無知にできるか？
• RQ2 特徴表現から既知のバイアスを明示的に除去することで、特に偏ったデータセットで学習した場合に、バイアスのないテストデータに対する一般化性能が向上するか？
• RQ3 JLUアルゴリズムは特定のバイアスをどの程度アンラーニングできるか？また、異なる種類の誤った変動に対してその性能はどのように変化するか？
• RQ4 バイアスの除去は主なタスクの精度にどのような影響を与えるか？極度にバイアスの強い状況下でも、性能が向上する可能性はあるか？
• RQ5 大規模かつ多様な先祖のルーツデータセット（LAOFIW）は、バイアス除去技術の訓練および評価に効果的に使用できるか？

主な発見

• JLUアルゴリズムは、12件のうち9件で誤った変動の分類精度をほぼランダムな水準（ランダムの5%以内）まで低下させ、効果的なバイアス除去を示した。
• 年齢バイアスのあるデータセットで性別分類器を学習した場合、JLU手法によりバイアスのないテストデータでの精度が最大20%向上し、一般化性能の向上が確認された。
• 年齢分類においては、主なタスクの精度がベースラインと比較してわずかに5%低下した一方で、性別とポーズの情報はそれぞれ88%および91%の割合でアンラーニングされた。
• 先祖のルーツ分類では、主なタスクの精度が1%向上し、年齢情報の92%、性別情報の98%、ポーズ情報の86%がアンラーニングされた。
• ポーズの変動が最もアンラーニングが難しく、86%のポーズ情報が除去されたが、先祖のルーツ情報が最も除去しにくく、特徴のエンタングルメントが顕著に現れた。
• すべての実験において、主なタスクのパフォーマンスが維持または向上したため、バイアス除去が主タスクのパフォーマンスを損なわないことが示された。