[논문 리뷰] MobileDiffusion: Instant Text-to-Image Generation on Mobile Devices

Yang Zhao, Yanwu Xu외 3명|arXiv (Cornell University)|2023. 11. 28.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

MobileDiffusion는 아키텍처 정리와 고도화된 샘플링 기법을 통해 모바일 배포에 최적화된 고성능 텍스트-이미지 확산 모델을 소개한다. 512×512 해상도의 이미지 생성에 대해 0.2초 이내의 초단순 추론을 달성하며 높은 품질의 출력을 유지하여 현행 최고 수준의 온디바이스 생성 성능을 확립한다.

ABSTRACT

The deployment of large-scale text-to-image diffusion models on mobile devices is impeded by their substantial model size and slow inference speed. In this paper, we propose extbf{MobileDiffusion}, a highly efficient text-to-image diffusion model obtained through extensive optimizations in both architecture and sampling techniques. We conduct a comprehensive examination of model architecture design to reduce redundancy, enhance computational efficiency, and minimize model's parameter count, while preserving image generation quality. Additionally, we employ distillation and diffusion-GAN finetuning techniques on MobileDiffusion to achieve 8-step and 1-step inference respectively. Empirical studies, conducted both quantitatively and qualitatively, demonstrate the effectiveness of our proposed techniques. MobileDiffusion achieves a remarkable extbf{sub-second} inference speed for generating a $512 imes512$ image on mobile devices, establishing a new state of the art.

연구 동기 및 목표

• 모델 크기가 크고 추론 속도가 느려서 대규모 텍스트-이미지 확산 모델을 모바일 기기에서 배포하는 데 도전하는 문제를 해결한다.
• 엣지 배포를 위한 확산 모델에서 높은 파라미터 수와 반복적 샘플링이라는 이중적 제약을 극복한다.
• 단순 블록 제거를 넘어서 구성 요소 수준 최적화에 중점을 두어 UNet 기반 확산 모델을 위한 통합적인 아키텍처 효율성 프레임워크를 개발한다.
• 아키텍처 효율성과 최신 샘플링 가속 기법(정제 및 GAN 미세조정)을 조합하여 실용적인 온디바이스 추론을 가능하게 한다.
• 실제 모바일 애플리케이션에 적합한 경량이면서 고성능의 텍스트-이미지 모델의 실현 가능성을 입증한다. 이는 제어 가능한 생성 및 미세조정 기능을 포함한다.

제안 방법

• 과도한 구성 요소를 식별하고 제거하기 위해 UNet 아키텍처에 대한 종합적인 아키텍처 분석을 수행하여 파라미터 수를 줄이고 계산 효율성을 향상시킨다.
• 주의 메커니즘과 특징 맵 동역학의 통찰을 바탕으로 블록의 체계적 정리와 재구성으로 4억 개 이하의 파라미터를 가진 경량 UNet을 설계한다.
• 구성 정보를 고려한 정제를 적용하여 품질을 유지하면서도 샘플링 단계를 줄인 8단계 추론 모델을 훈련시킨다.
• UFOGen 미세조정을 활용해 품질 저하를 최소화하면서도 단일 단계 추론을 가능하게 하며, 샘플 효율성을 높이기 위해 GAN 기반 정제를 활용한다.
• 최적화된 아키텍처를 기존의 샘플링 가속 기법과 통합하여 모바일 하드웨어에서 종단 간 초단순 추론을 가능하게 한다.
• iPhone 15 Pro에서 네이티브 추론 도구를 사용해 성능을 벤치마크하고, 텍스트 인코더, VAE 디코더, UNet, 전체 파이프라인의 지연 시간을 측정한다.

실험 결과

연구 질문

• RQ1 아키텍처 최적화를 통해 모바일 배포를 위한 근본적인 설계가 가능한가?
• RQ2 경량 아키텍처에서 정제 및 GAN 기반 미세조정을 통해 샘플링 속도를 얼마나 줄일 수 있으며, 이로 인해 품질 손실가 발생하지 않는가?
• RQ3 아키텍처 효율성과 샘플링 가속 기법의 조합이 모바일 기기에서 실제 추론 지연 시간에 어떤 영향을 미치는가?
• RQ4 결과 모델이 제어 가능한 생성 및 LoRA 미세조정과 같은 후속 응용 프로그램을 온디바이스에서 효과적으로 지원할 수 있는가?
• RQ5 속도, 품질, 모델 크기 측면에서 온디바이스 텍스트-이미지 생성의 성능 한계는 어디까지인가?

주요 결과

• MobileDiffusion는 iPhone 15 Pro에서 512×512 해상도의 이미지 생성에 대해 0.2초 이내의 초단순 추론 시간을 달성하여 이전 연구를 크게 앞서간다.
• 정제된 8단계 모델은 MS-COCO에서 FID 점수 9.01을 기록했으며, 이는 모델 크기가 50% 작고 속도가 50% 빠른 상황에서도 기준 모델(SD-replicated baseline, FID 8.43)과 유사한 품질을 유지함을 의미한다.
• UFOGen으로 미세조정된 1단계 모델은 FID 11.67을 기록하여 단일 단계 추론이 품질 저하를 최소화하면서도 가능함을 입증한다.
• 정제된 모델과 1단계 모델 모두 CLIP-ViT-g/14 점수는 약 0.33로, CLIP 임bedding 공간과 강한 일치를 보인다.
• 온디바이스 지연 시간 측정 결과, MobileDiffusion는 전체 추론 시간을 8단계일 경우 1.23초, 1단계일 경우 2.19초로 단축시켜 SnapFusion과 같은 이전 방법을 뛰어넘는다.
• LoRA 및 어댑터 기반 방법을 포함한 제어 가능한 생성 작업을 위한 온디바이스 미세조정도 성공적으로 지원하여 실제 모바일 애플리케이션에서의 실용성을 입증한다.