[논문 리뷰] PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning

Florian Bordes, Shashank Shekhar외 4명|arXiv (Cornell University)|2023. 08. 08.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 표현 학습을 위한 사진처럼 사실적인, 의미적으로 제어 가능한 데이터를 제공하기 위해 Unreal Engine를 사용하여 생성된 새로운 합성 데이터셋 가족인 PUG (Photorealistic Unreal Graphics)를 소개한다. 고해상도의 현실감 있는 환경와 포즈, 텍스처, 조명 등의 시나리오 요소에 대한 정밀한 제어를 결합함으로써 PUG는 시각 모델의 강건성과 일반화 능력을 철저히 평가할 수 있게 하며, 기존 벤치마크에 비해 제로샷 전이와 실패 모드 분석에서 뚜렷한 향상을 보여준다.

ABSTRACT

Synthetic image datasets offer unmatched advantages for designing and evaluating deep neural networks: they make it possible to (i) render as many data samples as needed, (ii) precisely control each scene and yield granular ground truth labels (and captions), (iii) precisely control distribution shifts between training and testing to isolate variables of interest for sound experimentation. Despite such promise, the use of synthetic image data is still limited -- and often played down -- mainly due to their lack of realism. Most works therefore rely on datasets of real images, which have often been scraped from public images on the internet, and may have issues with regards to privacy, bias, and copyright, while offering little control over how objects precisely appear. In this work, we present a path to democratize the use of photorealistic synthetic data: we develop a new generation of interactive environments for representation learning research, that offer both controllability and realism. We use the Unreal Engine, a powerful game engine well known in the entertainment industry, to produce PUG (Photorealistic Unreal Graphics) environments and datasets for representation learning. In this paper, we demonstrate the potential of PUG to enable more rigorous evaluations of vision models.

연구 동기 및 목표

• 기존 합성 데이터셋이 현실감과 세밀한 제어 능력에 결함이 있다는 점을 해결하기 위해 표현 학습을 위한 새로운 세대의 사진처럼 사실적인, 제어 가능한 합성 데이터를 생성하는 것.
• 포즈, 텍스처, 조명, 배경 등의 요소에 대한 제어된 분포 이탈에 대해 시각 모델의 강건성에 대해 체계적으로 평가할 수 있도록 하는 것.
• 개인정보, 편향, 저작권 문제로 인해 어려움을 겪는 실제 데이터셋에 대한 확장 가능하고 접근성 있고 현실적인 대안을 제공하는 것.
• 시각-언어 벤치마크의 알려진 한계, 예를 들어 배경 민감도와 낮은 일반화 능력 등을 극복하는 데 합성 데이터의 유용성을 입증하는 것.

제안 방법

• 사진처럼 사실적인 외관을 자랑하는 고성능 게임 엔진인 Unreal Engine을 활용하여 시나리오 요소에 대한 정밀한 제어를 가능하게 하는 PUG 환경과 데이터셋을 생성하는 것.
• 네 가지의 독립된 데이터셋 설계: OOD 일반화를 위한 PUG: Animals, 강건성 평가를 위한 PUG: ImageNet, 시각-언어 모델 탐색을 위한 PUG: SPAR, 그리고 미세조정을 위한 PUG: AR4T.
• 시나리오 속성에 대한 세밀한 제어가 가능한 프로그래밍 기반의 데이터셋 생성을 가능하게 하는 TorchMultiverse Python 라이브러리 구현.
• 사전 학습된 CLIP 모델을 사용하여 PUG 데이터셋에 대해 미세조정을 수행하고, 다양한 요소 변화에 따른 제로샷 및 미세조정 성능을 평가하는 것.
• 단일 환경 설정(소금 갈라지기)을 도입하여 배경 변화에 의한 모델 실패를 배경 다양성과 독립적으로 고립하고 분석하는 것.
• 요소-라벨링 기법을 적용하여 표현 학습 동역학, 예를 들어 학습 중 모델이 어떤 요소에 주목하는지를 탐색할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 사진처럼 사실적인 합성 데이터는 실제 벤치마크에 비해 시각 모델의 강건성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ2 객체의 텍스처, 위치, 배경에 대한 제어된 변화가 시각-언어 모델의 성능에 어떻게 영향을 미치며, 어떤 실패 모드가 발생하는가?
• RQ3 합성 데이터를 사용하여 포즈, 조명, 객체 크기 등의 특정 요소에 대한 모델의 불변성에 대해 체계적으로 평가하고 향상시킬 수 있는가?
• RQ4 PUG: AR4T의 합성 데이터에 대해 10 에포크 동안 미세조정한 결과, 실제 데이터셋에 비해 하류 시각-언어 작업에서 성능 향상이 어떻게 이루어지는가?
• RQ5 정밀한 요소 제어가 가능한 데이터셋을 사용함으로써 모델의 주의 집중 방식과 표현 학습 동역학에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• PUG: SPAR는 시각-언어 모델이 배경 변화에 매우 민감함을 드러내었으며, 단일 배경(소금 갈라지기)에서의 검색 정확도 94%가 여러 배경으로 확장될 경우 78%로 떨어졌다.
• 큰 시각-언어 모델인 ViT-G-14 (OpenCLIP)조차도 단순한 PUG: SPAR 예제에서 실패했으며, 텍스처 변화 조건에서 제로샷 정확도가 48.44%로 떨어지고, 위치 인식 작업에서는 30% 이하로 떨어졌다.
• 200K 데이터셋에 대해 10 에포크, 100만 데이터셋에 대해 2 에포크 동안 PUG: AR4T에 대해 CLIP 모델을 미세조정한 결과 성능 향상이 뚜렷하게 나타났으며, 이는 합성 데이터가 미세조정에 있어 신뢰할 수 있고 유용한 자원임을 입증했다.
• PUG: ImageNet 데이터셋을 통해 포즈, 조명, 텍스처 등 100여 개가 넘는 요소에 대한 모델 강건성의 체계적 평가가 가능했으며, 분포 이탈 조건에서 성능 저하가 뚜렷하게 드러났다.
• PUG: Animals 데이터셋은 기초 모델 표현의 탐색에 효과적으로 활용되었으며, 제어되고 현실적인 데이터로 학습할 경우 모델이 분리 가능한 표현을 학습할 수 있음을 보여주었다.
• TorchMultiverse 라이브러리는 다양한 요소 제어가 가능한 데이터셋을 효율적으로 프로그래밍 방식으로 생성할 수 있게 하여, 확장 가능하고 재현 가능한 표현 학습 실험에 필수적인 역할을 했다.