[논문 리뷰] Procedural Image Programs for Representation Learning

Manel Baradad, Chun-Fu Chen외 5명|arXiv (Cornell University)|2022. 11. 29.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 실제 이미지 없이 고성능 표현 학습을 가능하게 하기 위해 OpenGL 조각어휘 언어로 작성된 21,000개의 절차적 이미지 생성 색채어를 포함하는 대규모 데이터셋을 제안한다. 이 다양한, 빠르게 렲영되는 프로그램들에 대해 신경망을 훈련시킴으로써, 지도학습 및 자기지도학습 모두에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 실제 이미지 사전학습과의 정확도 격차를 38% 감소시켰다.

ABSTRACT

Learning image representations using synthetic data allows training neural networks without some of the concerns associated with real images, such as privacy and bias. Existing work focuses on a handful of curated generative processes which require expert knowledge to design, making it hard to scale up. To overcome this, we propose training with a large dataset of twenty-one thousand programs, each one generating a diverse set of synthetic images. These programs are short code snippets, which are easy to modify and fast to execute using OpenGL. The proposed dataset can be used for both supervised and unsupervised representation learning, and reduces the gap between pre-training with real and procedurally generated images by 38%.

연구 동기 및 목표

• 기존의 합성 데이터 방법이 소규모로 셀렉션된 전문가가 설계한 생성 프로세스에 의존하는 한계를 해결하기 위해.
• 절차적 이미지 프로그램의 수를 늘임으로써 표현 학습 성능을 크게 향상시킬 수 있는지 탐색하기 위해.
• 짧고 실행 가능한 코드 스니펫을 사용하여 다양한 합성 이미지를 생성하는 확장 가능하고 고처리량의 프레임워크를 개발하기 위해.
• 하류 표현 품질을 최대화하는 데 효과적인 절차적 이미지 프로그램의 특성을 규명하기 위해.
• 특히 분포 외부 설정에서 실제 이미지 사전학습과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해, 절차적 데이터가 실질적인 이미지 사전학습과 경쟁 가능한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 간단한 도형과 무늬를 가진 다양한 합성 이미지를 생성하는 각각의 짧은 OpenGL 조각어색채어 프로그램 21,000개를 수집한다.
• 훈련 중에 실시간으로 이미지를 생성하기 위해 고처리량 GPU 렌더링(초당 수백 프레임)을 사용하여 효율적인 데이터 파이프라인 통합을 가능하게 한다.
• 생성된 이미지에서 지도학습 및 자기지도학습(SimCLR, 선형 프로빙 등)을 사용해 신경망을 훈련시킨다.
• 각 고유한 색채어를 지도학습에서 이산 잠재 클래스로 활용하여 생성 매개변수의 임의의 클러스터링이 필요 없도록 한다.
• 이미지 수준의 통계(예: LPIPS, 압축, FID)를 기반으로 미리 훈련된 예측 모델을 개발하여, 훈련 없이도 미리 보지 않은 색채어의 하류 성능을 추정한다.
• 예측 모델을 활용해 하류 평가를 위한 데이터 효율적인 방식으로 고성능 색채어를 탐색 및 선택한다.

실험 결과

연구 질문

• RQ1 절차적 이미지 프로그램의 수가 하류 표현 학습 성능에 어떻게 영향을 미치는가?
• RQ2 큰 규모이지만 셀렉션되지 않은 절차적 색채어 데이터셋이 전문가가 설계한 생성 프로세스에 의존하는 기존의 합성 데이터 방법을 능가할 수 있는가?
• RQ3 이미지 수준의 특성(예: 다양성, 자기 유사성, 색상 변동) 중 어떤 것이 절차적 이미지 생성에서 높은 하류 성능과 관련이 있는가?
• RQ4 학습된 예측 모델이 전체 훈련 없이도 고성능 색채어를 효과적으로 식별할 수 있는가? 이는 효율적인 데이터 선택을 가능하게 하는가?
• RQ5 고성능 색채어와 저성능 색채어의 시각적 특성은 구조적, 질감적 측면에서 어떻게 비교되는가?

주요 결과

• 하류 성능은 절차적 이미지 프로그램의 수에 대해 로그 스케일로 증가하며, 더 큰 프로그램 세트에서 지속적인 성능 향상이 가능함을 시사한다.
• Shaders-21k 데이터셋을 사용해 ResNet-50에서 선형 분류를 수행했을 때 ImageNet-1k에서 상위-1 정확도 36%를 기록했으며, 이는 이전 최고 성능 방법인 Shaders-1k보다 10个百分点 높은 성능이다.
• MixUp를 사용한 Shaders-21k를 통해 실제 이미지 사전학습(Places365)과의 성능 격차를 38% 감소시켰다.
• 자기 유사성(이미지 내부 LPIPS로 측정)이 높은 색채어는 성능이 떨어지는 경향이 있어, 이미지 다양성이 표현 품질 향상의 핵심 요소임을 시사한다.
• FID와 gzip 압축률 사이에 강력한 파레토 경계가 존재한다: 고성능 색채어는 낮은 FID와 낮은 압축률을 동시에 달성할 수 없다.
• 학습된 성능 예측 모델을 기반으로 한 그레디티 선택 전략은 무작위 선택보다 훨씬 뛰어난 성능을 보였으며, 상위 예측 색채어는 36%의 상위-1 정확도를 달성했다.