[論文レビュー] A Note on Data Biases in Generative Models

Patrick Esser, Robin Rombach+1 more|arXiv (Cornell University)|Dec 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 7

ひとこと要約

本論文では、学習データの分布に依存しないコンテンツコードを推論することで、生成モデルにおけるデータセット固有のバイアスからコンテンツを分離する手法を提案する。条件付き可逆正規化フローを用い、同じコンテンツを異なるデータセットに投影することで、モデルの進歩がしばしばアーキテクチャの進歩ではなく、データ品質によるものであることが明らかになる。

ABSTRACT

It is tempting to think that machines are less prone to unfairness and prejudice. However, machine learning approaches compute their outputs based on data. While biases can enter at any stage of the development pipeline, models are particularly receptive to mirror biases of the datasets they are trained on and therefore do not necessarily reflect truths about the world but, primarily, truths about the data. To raise awareness about the relationship between modern algorithms and the data that shape them, we use a conditional invertible neural network to disentangle the dataset-specific information from the information which is shared across different datasets. In this way, we can project the same image onto different datasets, thereby revealing their inherent biases. We use this methodology to (i) investigate the impact of dataset quality on the performance of generative models, (ii) show how societal biases of datasets are replicated by generative models, and (iii) present creative applications through unpaired transfer between diverse datasets such as photographs, oil portraits, and animes. Our code and an interactive demonstration are available at https://github.com/CompVis/net2net .

研究の動機と目的

• 生成モデルにおける認識される進歩が、モデルの改善にあるのか、それとも高品質な訓練データにあるのかを調査すること。
• 照明、解像度、人種的代表性などのデータセット固有バイアスが生成モデルに埋め込まれ、出力品質に影響を与えることを示すこと。
• 同じコンテンツが異なるデータセットバイアスのもとでどのように表示されるかを可視化するためのインタラクティブなツールを提供すること。
• 訓練データを通じて社会的・データバイアスが機械学習モデルに再現されることへの認識を高めること。
• コンテンツをデータバイアスから分離することで、アニメから写真への変換など、多様なデータセット間でのクリエイティブな応用を可能にすること。

提案手法

• 複数のサブデータセット（例：CelebA、CelebA-HQ、FFHQ、AnimalFaces）を統合したデータセット上で1つのオートエンコーダーを訓練し、共有されたデータ表現を学習する。
• 条件付き可逆正規化フロー（cINN）を用いて、$ p(z|y) $ の条件付き分布をモデル化する。ここで $ z $ はコンテンツコード、$ y $ はデータセットを表す。
• 変分推論による上界を用いて、相互情報量 $ I(z,y) $ を最小化することで、コンテンツ $ z $ とデータセット $ y $ を分離する。
• 画像をあるデータセット $ y $ から別の $ y^* $ に投影するには、$ z = \tau(x|y) $ を推論し、$ x^* = \tau^{-1}(z|y^*) $ を再構築する。
• パッチベースの識別器を活用して再構築のリアルさを向上させるが、GAN風のアーチファクトが発生する可能性がある。
• 標準正規事前分布 $ q(z) $ を用いて潜在空間を正則化し、データセット間でのサンプリングや補間を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成モデルにおける認識される進歩が、モデルアーキテクチャの進歩ではなく、訓練データの品質向上に起因する程度はどの程度か？
• RQ2 照明、解像度、人種的代表性などのデータセット固有バイアスが、生成モデルにどのようにエンコードされるのか？
• RQ3 同じ潜在コードを用いても、異なるデータセットに条件付けられた場合に、生成モデルが顕著に異なる出力を生成できるか？
• RQ4 どのようにしてコンテンツとデータバイアスを視覚的に分離し、機械学習システム内のバイアスを調査・提示できるか？
• RQ5 分離されたコンテンツの投影が、顔貌からアニメへの変換など、多様なデータドメイン間でクリエイティブなコンテンツ生成に活用できるか？

主な発見

• 同じ潜在コードをCelebA、CelebA-HQ、FFHQに投影すると、解像度とリアリズムの向上が主にデータ品質によるものであることが判明し、出力に顕著な差が生じる。
• FFHQからCelebA-HQへの投影では、顔貌の多様性が低下し、化粧が強調され、しわが減少し、年齢のばらつきも減少する—これは強いデータセットバイアスを示している。
• 本手法は、編集済みデータセットにおける社会的バイアス（例：特定の肌色や特徴の低代表性）が生成モデルにどのように再現されるかを効果的に可視化した。
• FFHQからCelebA（-HQ）への投影では、モデルがより均一的で理想化された顔貌を生成する傾向があり、生成プロセスに起因する平均的で魅力的な特徴へのバイアスが示唆される。
• 本アプローチにより、画像品質の向上がモデルレベルの進歩であると仮定するのではなく、データ品質の要因によって混同されていることが明らかになった。
• 本手法は、データバイアスを意図的に芸術的効果を得るために活用できる。例えば、油絵のポートレートから写真へのアナロジーを実現し、生成モデルのバイアスを芸術的応用に応用可能であることを示している。