[논문 리뷰] Hybrid SD: Edge-Cloud Collaborative Inference for Stable Diffusion Models

Chenqian Yan, Songwei Liu외 6명|arXiv (Cornell University)|2024. 08. 13.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 안정된 확산 모델(SDM)을 위한 훈련 불필요한 엣지-클라우드 공동 인퍼런스 프레임워크인 Hybrid SD를 제안한다. 이는 초기 노이즈 제거 단계를 클라우드 기반의 대규모 모델에 위탁하여 의미적 정확도를 확보하고, 후속 보정 단계를 소형 엣지 모델에 위임하여 효율성을 높인다. U-Net의 구조적 프루닝과 경량 VAE를 통해 엣지 디바이스에서 경쟁적인 FID(12.22)를 달성하면서도 225.8M 파라미터의 최신 기술 수준(parameter efficiency)을 확보하고, 클라우드 비용을 66% 절감한다.

ABSTRACT

Stable Diffusion Models (SDMs) have shown remarkable proficiency in image synthesis. However, their broad application is impeded by their large model sizes and intensive computational requirements, which typically require expensive cloud servers for deployment. On the flip side, while there are many compact models tailored for edge devices that can reduce these demands, they often compromise on semantic integrity and visual quality when compared to full-sized SDMs. To bridge this gap, we introduce Hybrid SD, an innovative, training-free SDMs inference framework designed for edge-cloud collaborative inference. Hybrid SD distributes the early steps of the diffusion process to the large models deployed on cloud servers, enhancing semantic planning. Furthermore, small efficient models deployed on edge devices can be integrated for refining visual details in the later stages. Acknowledging the diversity of edge devices with differing computational and storage capacities, we employ structural pruning to the SDMs U-Net and train a lightweight VAE. Empirical evaluations demonstrate that our compressed models achieve state-of-the-art parameter efficiency (225.8M) on edge devices with competitive image quality. Additionally, Hybrid SD reduces the cloud cost by 66% with edge-cloud collaborative inference.

연구 동기 및 목표

• 클라우드 서버에 대규모 안정된 확산 모델(SDM)을 배포할 경우 발생하는 높은 계산 비용과 프라이버시 위험을 해결하기 위해.
• 기존의 소형 엣지 모델이 종종 의미적 정확도와 시각적 품질을 희생시키는 성능 격차를 극복하기 위해.
• 클라우드와 엣지 디바이스의 장점을 활용하는 훈련 불필요한 공동 인퍼런스 프레임워크를 설계하기 위해.
• 재현 품질을 손상시키지 않은 채 엣지 디바이스에서 최신 기술 수준의 파라미터 효율성을 달성하기 위해.
• 실용적인 구현을 위해 LCM(Latent Consistency Models)와 같은 가속 기술과의 호환성을 확보하기 위해.

제안 방법

• 확산 프로세스를 분산 처리: 초기 노이즈 제거 단계는 의미 계획을 위해 대규모 클라우드 기반 SDM에서 수행하고, 후속 단계는 세부 정보 보정을 위해 경량 엣지 모델에서 처리한다.
• 성능 유지를 유지하면서 모델 크기를 줄이기 위해 SDM의 U-Net에 구조적 프루닝을 적용하여 자원 제약이 있는 엣지 디바이스에 배포 가능하게 한다.
• 엣지 배포를 위해 특별히 설계된 경량 VAE 디코더를 훈련시켜 전체 모델의 크기를 줄이고 품질 손실을 최소화한다.
• 압축된 모델을 하이브리드 인퍼런스 파이프라인에 통합하여 클라우드와 엣지의 계산을 균형 있게 배분하고, 데이터 전송과 클라우드 비용을 최소화한다.
• LCM(Latent Consistency Models)와 같은 가속 샘플링 방법과의 연동을 확장하여 최소한의 단계로 빠른 인퍼런스를 가능하게 한다.
• 클라우드 FLOPs의 66%를 엣지 디바이스로 이관하여 지연 시간과 비용을 감소시키기 위해 시스템을 최적화한다.

Figure 1: Comparisons of FLOPs, model size (#Params) and FID score on MS-COCO 2014 30K dataset (Lin et al. 2014 ) . We report FLOPs and parameters of the U-Net and VAE decoder for each model. Our proposed Hybrid SD is highlighted in red font, where $k$ indicates the number of steps running on cloud

실험 결과

연구 질문

• RQ1 모델 재훈련 없이 엣지-클라우드 협업이 안정된 확산 모델 인퍼런스의 효율성과 비용 효율성을 향상시킬 수 있는가?
• RQ2 소형 모델을 엣지 디바이스에서 사용할 경우 의미적 정합성과 시각적 품질을 어떻게 유지할 수 있는가?
• RQ3 구조적 프루닝과 경량 VAE를 통해 모델 크기를 얼마나 줄일 수 있으며, 경쟁적인 FID 점수를 유지할 수 있는가?
• RQ4 클라우드 비용을 최소화하면서도 낮은 지연 시간을 유지하기 위해 계산을 클라우드와 엣지 간에 어떻게 분배할 것인가?
• RQ5 하이브리드 인퍼런스 프레임워크는 기존의 가속 기술(예: LCM)과 얼마나 호환되는가?

주요 결과

• Hybrid SD는 엣지 디바이스로 2.7조 FLOPs를 이관함으로써 클라우드 인퍼런스 비용을 66% 절감하여 기존 전 클라우드 인퍼런스의 15.8조 FLOPs 대비 클라우드에서 5.4조 FLOPs로 줄였다.
• 압축된 엣지 모델은 원본 SD-v1.4의 909.0M 대비 225.8M 파라미터를 확보하면서도 원본과 비교해 경쟁적인 FID 12.22를 유지했고, 원본의 FID 13.75보다 우수하다.
• 엣지-클라우드 공동 인퍼런스는 전 클라우드 인퍼런스 대비 클라우드 지연 시간을 42% 감소시켰다(1010.5 ms 대비 1733.6 ms) 및 FLOPs를 49% 절감했다.
• 단독 엣지 모델이 자주 잘못된 속성(예: 'kichen'이 'kitchen'으로 잘못 생성되거나 프롬프트에 'two sheep'가 누락되는 등)을 생성하는 것과는 달리, 이 프레임워크는 열등한 의미 정합성을 유지한다.
• 경량 VAE는 엣지 측의 FLOPs를 42% 감소시켜 효율성을 향상시키며, 이미지 품질에 영향을 주지 않는다.
• 하이브리드 프레임워크는 LCM 가속과 완전히 호환되며, 최소 8단계 샘플링을 통해 성능 저하를 최소화하고 속도 및 효율성을 더욱 향상시킨다.

Figure 2: The overview of Hybrid SD. We distribute the inference tasks to cloud servers and edge devices. The red line denotes text-to-image tasks while the blue line denotes image-to-image tasks.