[논문 리뷰] Exploring Collaborative Distributed Diffusion-Based AI-Generated Content (AIGC) in Wireless Networks

Hongyang Du, Ruichen Zhang외 7명|arXiv (Cornell University)|2023. 04. 07.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 자원이 제한된 디바이스가 계산 비용이 높은 노이즈 제거 단계를 엣지 서버와 인접 디바이스로 오프로드할 수 있도록 허용하는 무선 네트워크를 위한 협업형 분산형 디퓨전 기반 AI 생성 콘텐츠(AIGC) 프레임워크를 제안한다. 이는 의미론적 사용자 클러스터링과 캐싱을 통해 고성능 출력을 유지하면서 지연 시간과 에너지 소비를 크게 줄인다. 이는 실세계 AIGC 구현의 확장성과 효율성을 향상시킨다.

ABSTRACT

Driven by advances in generative artificial intelligence (AI) techniques and algorithms, the widespread adoption of AI-generated content (AIGC) has emerged, allowing for the generation of diverse and high-quality content. Especially, the diffusion model-based AIGC technique has been widely used to generate content in a variety of modalities. However, the real-world implementation of AIGC models, particularly on resource-constrained devices such as mobile phones, introduces significant challenges related to energy consumption and privacy concerns. To further promote the realization of ubiquitous AIGC services, we propose a novel collaborative distributed diffusion-based AIGC framework. By capitalizing on collaboration among devices in wireless networks, the proposed framework facilitates the efficient execution of AIGC tasks, optimizing edge computation resource utilization. Furthermore, we examine the practical implementation of the denoising steps on mobile phones, the impact of the proposed approach on the wireless network-aided AIGC landscape, and the future opportunities associated with its real-world integration. The contributions of this paper not only offer a promising solution to the existing limitations of AIGC services but also pave the way for future research in device collaboration, resource optimization, and the seamless delivery of AIGC services across various devices. Our code is available at https://github.com/HongyangDu/DistributedDiffusion.

연구 동기 및 목표

• 모바일 및 자원이 제한된 디바이스에서 디퓨전 기반 AIGC 모델을 실행하는 데 발생하는 높은 계산 비용과 에너지 소비를 해결한다.
• 제한된 처리 성능과 메모리로 인해 기기 수준의 AIGC 실행에 한계가 존재하는 문제를 해결한다.
• 기기 협업과 엣지 컴퓨팅을 통해 무선 네트워크 전반에 걸쳐 효율적이고 확장 가능하며 저지연 시간의 AIGC 서비스 제공을 가능하게 한다.
• 유사한 의미론적 프롬프트를 가진 사용자를 군집화하고 중간 결과를 캐싱하여 재사용을 증진하고 중복 계산을 줄임으로써 시스템 성능을 최적화한다.
• 실세계 무선 환경에서 분산형 AIGC를 구현하는 데 있어 실용적인 통합 과제와 향후 연구 방향을 탐색한다.

제안 방법

• 무선 네트워크를 통해 모바일 디바이스가 디퓨전 모델의 노이즈 제거 단계를 엣지 서버와 근접한 디바이스로 오프로드할 수 있는 협업형 분산 AIGC 프레임워크를 제안한다.
• 유사한 콘텐츠 생성 작업을 수행하는 디바이스를 그룹화하기 위해 사용자 프롬프트의 의미론적 클러스터링을 적용하여 공유된 노이즈 제거 계산을 가능하게 하고 중복 처리를 줄인다.
• 유사한 작업에서 유도된 중간 출력을 저장하고 재사용하기 위해 엣지 서버에 캐싱 메커니즘을 도입하여 응답 시간을 단축하고 재계산을 줄인다.
• 노이즈 제거 단계를 여러 디바이스와 엣지 노드 간에 분할하여 협업적으로 실행하는 분산 컴퓨팅 모델을 활용한다.
• 디바이스의 능력과 채널 조건에 따라 동적 로드 밸런싱과 적응형 자원 할당을 지원하는 시스템 아키텍처를 설계한다.
• 통신 효율성을 AIGC 작업 요구사항과 채널 품질에 맞추기 위해 피드백 메커니즘과 적응형 변조를 통합한다.

Figure 1: The workflow of the diffusion model-based AIGC model, and the fundamental principles of implementing collaborative distributed AIGC. The text prompts for the two users are “A bird on a table” and “A cat on a table”, respectively. Tokenizer transforms text into numerical tokens, enabling mo

실험 결과

연구 질문

• RQ1 어떻게 디퓨전 기반 AIGC 작업을 무선 연결된 디바이스 간에 효율적으로 오프로드하고 분산 처리하여 모바일 디바이스의 계산 부담을 줄일 수 있는가?
• RQ2 사용자 프롬프트 간의 의미론적 유사성이 협업형 AIGC 시스템에서 공유된 노이즈 제거 계산의 효과성에 어떤 영향을 미치는가?
• RQ3 중간 AIGC 결과의 캐싱은 분산 AIGC 실행에서 시스템 효율성 향상과 지연 시간 감소에 어떻게 기여하는가?
• RQ4 동적 채널 조건을 가진 실세계 무선 네트워크에서 협업형 AIGC를 구현할 때의 주요 과제와 성능 트레이드오프는 무엇인가?
• RQ5 참여 유도와 데이터 프라이버시 보장을 위해 분산 AIGC 컴퓨팅에서 인centive 메커니즘과 안전한 통신 프로토콜을 어떻게 설계할 수 있는가?

주요 결과

• 사용자 프롬프트의 의미론적 클러스터링은 공유된 노이즈 제거 단계의 재사용성을 크게 향상시켜 계산 오버헤드를 줄이고 시스템 효율성을 향상시킨다.
• 유사한 작업에서 유도된 중간 출력을 엣지 서버에 캐싱함으로써 의미적으로 유사한 콘텐츠를 요청하는 경우 처리 지연 시간과 에너지 소비를 감소시킨다.
• 제안된 협업 프레임워크는 강력한 노이즈 제거 단계를 엣지 및 피어 디바이스로 오프로드함으로써 개별 모바일 디바이스의 계산 부담을 줄인다.
• 수치적 결과는 분산 방식이 중앙집중식 또는 로컬 전용 실행 대비 더 낮은 엔드 투 엔드 지연 시간과 높은 자원 활용도를 달성함을 보여준다.
• 적응형 자원 할당과 함께 사용할 경우, 다양한 디바이스와 네트워크 조건에서도 확장 가능하고 저지연 시간의 AIGC 제공이 가능하다.
• 프롬프트 간 의미적 불일치와 같은 과제는 성능 저하를 초래할 수 있으며, 이는 지능적인 사용자 클러스터링과 프롬프트 인식 기반 작업 라우팅의 중요성을 부각시킨다.

Figure 2: The proposed collaborative distributed diffusion-based AIGC approach in wireless networks. We consider the case where user end devices perform 8 local denoising steps and compare the results with those obtained when the collaborative distributed AIGC is not used.