[논문 리뷰] Fill-Up: Balancing Long-Tailed Data with Generative Models

Joonghyuk Shin, Minguk Kang외 1명|arXiv (Cornell University)|2023. 06. 12.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

이 논문은 텍스처 인버전(텍스트 기반 이미지 생성 모델)을 활용하여 실제 데이터와 밀도가 높은 클래스별 합성 이미지를 생성함으로써 이미지 인식에서 장수분포(long-tailed) 데이터 문제를 완화하는 새로운 방법인 Fill-Up을 제안한다. 사전 훈련된 텍스트-이미지 확산 모델(Stable Diffusion)에서 각 클래스별로 무작위 텍스트 토큰을 최적화함으로써, 클래스에 특화된 다양한 도메인에 맞는 이미지를 생성하는 방식이다. 이 방법은 실제 데이터와 유사한 분포를 갖는 합성 이미지를 생성함으로써 희귀 클래스의 균형을 효과적으로 회복하며, ImageNet-LT, iNaturalist2018, Places-LT에서 완전한 훈련(fine-tuning)을 수행할 경우 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Modern text-to-image synthesis models have achieved an exceptional level of photorealism, generating high-quality images from arbitrary text descriptions. In light of the impressive synthesis ability, several studies have exhibited promising results in exploiting generated data for image recognition. However, directly supplementing data-hungry situations in the real-world (e.g. few-shot or long-tailed scenarios) with existing approaches result in marginal performance gains, as they suffer to thoroughly reflect the distribution of the real data. Through extensive experiments, this paper proposes a new image synthesis pipeline for long-tailed situations using Textual Inversion. The study demonstrates that generated images from textual-inverted text tokens effectively aligns with the real domain, significantly enhancing the recognition ability of a standard ResNet50 backbone. We also show that real-world data imbalance scenarios can be successfully mitigated by filling up the imbalanced data with synthetic images. In conjunction with techniques in the area of long-tailed recognition, our method achieves state-of-the-art results on standard long-tailed benchmarks when trained from scratch.

연구 동기 및 목표

• 희귀 클래스에 대한 훈련 샘플이 부족한 현실 세계의 이미지 인식에서 장수분포 데이터 문제를 해결하기 위해.
• 기존의 데이터 증강 및 생성 방법이 합성 데이터를 실제 도메인 분포와 일치시키지 못하는 한계를 극복하기 위해.
• 클래스별 텍스트 프롬프트가 필요 없이 경량이고 효율적인 방식으로 고품질의 클래스별 합성 이미지를 생성하기 위해.
• 텍스처 인버전을 통해 생성된 합성 데이터가 실제 데이터와 결합될 경우 장수분포 벤치마크에서 인식 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 간단한 이중 단계 훈련 절차와 균형 잡힌 소프트맥스 손실을 사용하여 표준 장수분포 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 각 클래스별로 무작위로 초기화된 텍스트 토큰을 최적화함으로써 텍스처 인버전을 활용하여 클래스에 특화된 이미지를 생성함으로써, 클래스 이름이나 설명이 필요 없이도 가능하도록 한다.
• 이중 단계 훈련 절차를 도입함: 첫 번째 단계에서는 최적화된 텍스트 토큰을 사용해 합성 이미지를 생성하고, 두 번째 단계에서는 실제 이미지와 합성 이미지의 조합된 데이터셋으로 분류기의 미세조정을 수행한다.
• 사전 훈련된 Stable Diffusion v1.5 모델을 활용하며, 잠재 공간에서 최적화를 수행함으로써 계산 비용을 절감한다.
• 각 클래스별로 해당 클래스의 실제 이미지만을 사용하여 텍스처 인버전을 적용함으로써, 이미지 데이터만으로 클래스에 특화된 시각적 개념을 학습할 수 있도록 한다.
• 훈련 중에 균형 잡힌 소프트맥스 손실을 사용하여 클래스 불균형 문제를 더욱 완화하고 희귀 클래스에 대한 일반화 능력을 향상시킨다.
• 다양성과 품질을 제어하기 위해 스케일 하이퍼파라미터(예: 1.0 또는 7.5)를 사용하여 합성 이미지를 생성하며, 단일 GPU에서 한 장의 이미지 생성에 약 3초가 소요된다.

실험 결과

연구 질문

• RQ1 클래스별 텍스트 프롬프트가 없이도 텍스처 인버전을 효과적으로 활용하여 실제 세계 데이터 분포와 일치하는 합성 이미지를 생성할 수 있는가?
• RQ2 최적화된 텍스트 토큰을 통해 생성된 합성 데이터가 완전한 훈련에서 장수분포 벤치마크의 인식 성능을 향상시키는가?
• RQ3 기존의 데이터 증강 및 생성 방법과 비교할 때 성능 및 도메인 일치도 측면에서 본 방법의 성능은 어떠한가?
• RQ4 20개 이하의 훈련 샘플을 가진 희귀 클래스에서 성능 향상이 크게 이루어지는가?
• RQ5 이중 단계 훈련 절차와 균형 잡힌 소프트맥스 손실이 장수분포 환경에서 모델의 일반화 능력에 미치는 영향은 무엇인가?

주요 결과

• 완전한 훈련을 수행할 경우, 제안된 방법은 ImageNet-LT, iNaturalist2018, Places-LT에서 기존 방법들을 능가하는 최신 기준 정확도를 달성한다.
• ImageNet-LT에서 260만 장의 채워진 합성 이미지를 사용하여 상위-1 정확도 78.4%를 달성하였으며, 기준 모델 대비 유의미한 향상이 있었다.
• 특히 소수의 샘플(예: 5개 샘플)만 있는 희귀 클래스에서의 성능 향상이 두드러지게 나타났다.
• 모든 벤치마크에서 정량적·정성적 평가를 통해 텍스처 인버전 기반 생성 방식이 다른 이미지 간 생성 및 다중 모odal 생성 방법보다 뛰어난 성능을 보였다.
• 이중 단계 훈련 절차와 균형 잡힌 소프트맥스 손실이 함께 기여하여, 특히 장수분포 분포에서 성능 향상에 기여했다.
• 계산적으로 효율적이다: 한 장의 이미지 생성에 약 3초가 소요되며, 한 클래스의 최적화에 단일 RTX 3090에서 약 30분이 소요된다.