[논문 리뷰] A Note on Data Biases in Generative Models

Patrick Esser, Robin Rombach외 1명|arXiv (Cornell University)|2020. 12. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 7

한 줄 요약

이 논문은 학습 데이터 분포에 독립적인 내용 코드를 추론함으로써 생성 모델에서 데이터셋 특화 편향을 분리하는 방법을 제안한다. 조건부 역가능한 정규화 흐름을 사용하여 동일한 내용을 다양한 데이터셋에 투영함으로써, 모델의 진전이 종종 아키텍처적 발전보다는 데이터 품질에 기인해 있다는 것을 드러낸다.

ABSTRACT

It is tempting to think that machines are less prone to unfairness and prejudice. However, machine learning approaches compute their outputs based on data. While biases can enter at any stage of the development pipeline, models are particularly receptive to mirror biases of the datasets they are trained on and therefore do not necessarily reflect truths about the world but, primarily, truths about the data. To raise awareness about the relationship between modern algorithms and the data that shape them, we use a conditional invertible neural network to disentangle the dataset-specific information from the information which is shared across different datasets. In this way, we can project the same image onto different datasets, thereby revealing their inherent biases. We use this methodology to (i) investigate the impact of dataset quality on the performance of generative models, (ii) show how societal biases of datasets are replicated by generative models, and (iii) present creative applications through unpaired transfer between diverse datasets such as photographs, oil portraits, and animes. Our code and an interactive demonstration are available at https://github.com/CompVis/net2net .

연구 동기 및 목표

• 생성 모델에서 느껴지는 진전이 모델 개선에서 비롯되는지 아니면 더 고품질의 훈련 데이터에서 기인하는지 조사하기.
• 라이트팅, 해상도, 인구 통계적 표현 등 데이터셋 특화 편향이 생성 모델에 내장되어 출력 품질에 영향을 미친다는 것을 보여주기.
• 동일한 내용이 다양한 데이터셋 편향 하에서 어떻게 나타나는지 시각화할 수 있는 상호작용 도구 제공하기.
• 사회적 및 데이터 편향이 훈련 데이터를 통해 기계 학습 모델에 어떻게 반복되는지 인식 제고하기.
• 내용을 데이터 편향에서 분리하여 다양한 데이터셋 간에 콘텐츠를 투영함으로써 창의적 응용 가능하게 하기 (예: 애니메이션에서 사진으로)

제안 방법

• 다양한 서브데이터셋(예: CelebA, CelebA-HQ, FFHQ, AnimalFaces)을 결합한 데이터셋에 단일 오토인코더를 훈련시켜 공통된 데이터 표현 학습하기.
• 조건부 역가능한 정규화 흐름(cINN)을 사용해 조건부 분포 $ p(z|y) $ 를 모델링하기, 여기서 $ z $ 는 내용 코드이고 $ y $ 는 데이터셋이다.
• 변분 추론를 통한 상한을 사용해 상호정보 $ I(z,y) $ 를 최소화함으로써 내용 $ z $ 와 데이터셋 $ y $ 를 분리하기.
• 이미지를 하나의 데이터셋 $ y $ 에서 다른 $ y^* $ 로 투영하기 위해 $ z = \tau(x|y) $ 를 추론하고 $ x^* = \tau^{-1}(z|y^*) $ 를 재구성하기.
• 패치 기반 판별자를 활용해 재구성의 현실감을 향상시키지만, 이는 GAN 유사한 아티팩트를 유발할 수 있음.
• 표준 정규 사전 $ q(z) $ 를 사용해 잠재 공간을 정규화하여 다양한 데이터셋 간의 샘플링과 보간 가능하게 하기.

실험 결과

연구 질문

• RQ1 생성 모델에서 느껴지는 진전이 모델 아키텍처의 발전보다는 훈련 데이터 품질 향상에서 기인하는 정도는 어느 정도인가?
• RQ2 라이트팅, 해상도, 인구 통계적 표현 등 데이터셋 특화 편향이 생성 모델에 어떻게 내장되는가?
• RQ3 동일한 잠재 코드를 사용할 때, 다른 데이터셋에 조건을 줬을 때 생성 모델이 상당히 다른 출력을 낼 수 있는가?
• RQ4 내용과 데이터 편향을 어떻게 시각적으로 분리하여 기계 학습 시스템의 편향을 탐색하고 증명할 수 있는가?
• RQ5 분리된 내용 투영을 창의적 콘텐츠 생성에 활용할 수 있는가? (예: 초상화에서 애니메이션으로의 다양한 데이터 도메인 간 전환을 유지하면서)

주요 결과

• 동일한 잠재 코드가 CelebA, CelebA-HQ, FFHQ에 투영되었을 때 상당히 다른 출력을 낸다. 해상도 향상과 현실감 증가는 주로 데이터 품질 덕분이다.
• FFHQ에서 CelebA-HQ로의 투영은 얼굴 다양성 감소, 메이크업 증가, 주름 감소, 연령 다양성 감소를 초래한다. 이는 강력한 데이터셋 편향을 시사한다.
• 이 방법은 정제된 데이터셋에서의 사회적 편향(예: 특정 피부 톤이나 특징의 부족 표현)이 생성 모델에 어떻게 반복되는지 성공적으로 시각화한다.
• FFHQ에서 CelebA(-HQ)로의 투영 시, 모델는 더 균일하고 이상화된 얼굴을 생성한다. 이는 생성 과정이 평균화되고 더 매력적인 특징을 선호하는 경향이 있음을 시사한다.
• 이 방법은 이미지 품질 향상이 종종 데이터 품질과 혼동되어 모델 수준의 진전이라는 가정을 도전한다.
• 이 방법은 데이터셋 간 창의적 유사성(예: 오일 페인팅에서 사진으로)을 가능하게 하며, 데이터 편향을 의도적으로 예술적 효과로 활용할 수 있음을 보여준다.