[논문 리뷰] Generative Models as a Data Source for Multiview Representation Learning

Ali Jahanian, Xavier Puig외 2명|arXiv (Cornell University)|2021. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 68인용 수 6

한 줄 요약

이 논문은 사전 훈련된 생성 모델로부터 생성된 합성 데이터에서 일반적인 목적의 시각적 표현을 학습하는 방법을 제안하며, 잠재 공간 변환을 사용하여 대조 학습을 위한 다중 시각 데이터를 생성한다. 적절한 샘플링 및 훈련 전략을 사용할 경우, 이러한 합성 데이터로 훈련된 표현은 실제 데이터로 훈련된 표현과 맞먹거나 이를 초월할 수 있음을 입증한다.

ABSTRACT

Generative models are now capable of producing highly realistic images that look nearly indistinguishable from the data on which they are trained. This raises the question: if we have good enough generative models, do we still need datasets? We investigate this question in the setting of learning general-purpose visual representations from a black-box generative model rather than directly from data. Given an off-the-shelf image generator without any access to its training data, we train representations from the samples output by this generator. We compare several representation learning methods that can be applied to this setting, using the latent space of the generator to generate multiple "views" of the same semantic content. We show that for contrastive methods, this multiview data can naturally be used to identify positive pairs (nearby in latent space) and negative pairs (far apart in latent space). We find that the resulting representations rival or even outperform those learned directly from real data, but that good performance requires care in the sampling strategy applied and the training method. Generative models can be viewed as a compressed and organized copy of a dataset, and we envision a future where more and more "model zoos" proliferate while datasets become increasingly unwieldy, missing, or private. This paper suggests several techniques for dealing with visual representation learning in such a future. Code is available on our project page https://ali-design.github.io/GenRep/.

연구 동기 및 목표

• 원본 훈련 데이터에 접근할 수 없음에도 불구하고 블랙박스 생성 모델로부터 생성된 합성 데이터에서 효과적인 시각적 표현을 학습할 수 있는지 조사하는 것.
• 사전 훈련된 생성 모델의 샘플에서 훈련된 대조적 및 비대조적 표현 학습 방법의 효과를 평가하는 것.
• 생성 모델의 잠재 공간 변환을 통해 의미 있는 다중 시각 데이터를 생성하는 방법을 탐색하는 것.
• 다양한 샘플링 전략과 훈련 목표가 최종 전이 성능에 미치는 영향을 평가하는 것.

제안 방법

• 원본 훈련 데이터에 접근할 수 없도록 사전 훈련된 생성 모델(예: BigBiGAN, BigGAN, StyleGAN)을 데이터 소스로 활용하여 이미지를 샘플링한다.
• 픽셀 공간이 아닌 잠재 공간에서 변환을 적용하여 동일한 의미적 내용의 여러 시각을 생성한다(예: 가우시안 노이즈, 스타일 기반 조정).
• 대조 학습 목표에서 잠재 벡터 간의 근접도를 양의 쌍으로, 거리로 음의 쌍을 정의한다.
• 표준 대조 학습 프레임워크(예: SimCLR)와 감독 대조 학습을 생성된 데이터에 적용하며, 뷰 다양성을 위한 소스로 모델 자체의 잠재 공간을 사용한다.
• 다양한 최종 작업에서 실존 ImageNet 데이터로 훈련된 모델과 비교하여 생성 모델의 합성 데이터로 훈련된 모델의 성능을 평가한다.
• 선형 프로브를 사용하여 ImageNet100, VOC07 분류, VOC07 검출 작업에서의 전이 성능을 평가한다.

실험 결과

연구 질문

• RQ1 원본 훈련 데이터에 접근할 수 없음에도 불구하고 블랙박스 생성 모델로부터 생성된 합성 데이터에서 효과적인 시각적 표현을 학습할 수 있는가?
• RQ2 가우시안 노이즈, 스타일 기반 조정 등의 다양한 잠재 공간 변환 전략이 대조 학습을 위한 다중 시각 데이터 품질에 어떤 영향을 미치는가?
• RQ3 생성 모델의 합성 데이터로 훈련된 표현은 실제 데이터로 훈련된 표현과 비슷하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 생성 모델 출력물을 훈련 데이터로 사용할 때 표현 품질을 극대화하기 위해 가장 효과적인 샘플링 및 훈련 전략는 무엇인가?
• RQ5 생성 모델의 합성 데이터가 표현 학습에서 실제 데이터를 얼마나 효과적으로 보완할 수 있는가?

주요 결과

• BigBiGAN에서 생성된 합성 데이터로 훈련된 대조 학습 방법은 ImageNet100에서 상위 1 정확도 61.52%를 기록했으며, 실제 데이터로 훈련된 81.18%에 가까운 성능을 보였다.
• 가우시안 노이즈나 스타일 기반 조정과 같은 잠재 공간 변환을 적용하면 변환 없이 사용할 경우보다 성능 향상이 있었으며, 특히 가우시안 노이즈가 가장 좋은 성능(상위 1 정확도 60.74%)을 기록했다.
• BigGAN과 같은 조건부 분류 모델의 경우, 생성된 데이터에서 감독 대조 학습을 적용한 결과 상위 1 정확도 70.16%를 기록했으며, 비대조적 인버터 방법(상위 1 정확도 38.84%)보다 뛰어난 성능을 보였다.
• BigBiGAN에서 생성된 5%의 합성 데이터를 실존 ImageNet100 데이터와 혼합하면 전이 성능 향상이 관찰되어, 합성 데이터가 실존 데이터를 효과적으로 보완할 수 있음을 시사한다.
• 표현의 품질은 샘플링 전략에 크게 의존한다; 잠재 공간 변환 없이 단순 샘플링만 할 경우 성능이 열악해지므로, 체계적인 뷰 생성이 필요함을 강조한다.
• 결과는 생성 모델가 표현 학습을 위한 압축된, 개인정보 보호에 유리하며 편집 가능한 실존 데이터의 대체 자료로 활용될 수 있음을 시사한다.