[논문 리뷰] ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems

Denis Zavadski, Johann-Friedrich Feiden외 1명|arXiv (Cornell University)|2023. 12. 11.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

ControlNet-XS는 기존의 ControlNet과 같이 피드백 지연이 내재된 방법들에서 비롯되는 문제를 해결하기 위해 제어 네트워크를 생성 능력에서 분리함으로써 텍스트-이미지 확산 제어를 재고한다. 이로 인해 더 작은, 더 빠른 네트워크(1.7M–55M 파라미터)가 더 높은 이미지 품질과 제어 정밀도를 달성할 수 있게 되었으며, 더 큰 모델들보다 뛰어난 성능을 내면서도 훈련 및 추론 속도가 약 2배 빠르다.

ABSTRACT

The field of image synthesis has made tremendous strides forward in the last years. Besides defining the desired output image with text-prompts, an intuitive approach is to additionally use spatial guidance in form of an image, such as a depth map. In state-of-the-art approaches, this guidance is realized by a separate controlling model that controls a pre-trained image generation network, such as a latent diffusion model. Understanding this process from a control system perspective shows that it forms a feedback-control system, where the control module receives a feedback signal from the generation process and sends a corrective signal back. When analysing existing systems, we observe that the feedback signals are timely sparse and have a small number of bits. As a consequence, there can be long delays between newly generated features and the respective corrective signals for these features. It is known that this delay is the most unwanted aspect of any control system. In this work, we take an existing controlling network (ControlNet) and change the communication between the controlling network and the generation process to be of high-frequency and with large-bandwidth. By doing so, we are able to considerably improve the quality of the generated images, as well as the fidelity of the control. Also, the controlling network needs noticeably fewer parameters and hence is about twice as fast during inference and training time. Another benefit of small-sized models is that they help to democratise our field and are likely easier to understand. We call our proposed network ControlNet-XS. When comparing with the state-of-the-art approaches, we outperform them for pixel-level guidance, such as depth, canny-edges, and semantic segmentation, and are on a par for loose keypoint-guidance of human poses. All code and pre-trained models will be made publicly available.

연구 동기 및 목표

• 기존 제어 네트워크의 근본적 한계인 생성 과정과 제어 과정 간의 지연된 정보 흐름을 해결한다.
• 성능을 유지하면서 제어 네트워크의 파라미터 수를 줄여 더 빠른 훈련과 추론을 가능하게 한다.
• 제어 네트워크가 생성 과정을 유일하게 안내하도록 집중함으로써 제어 정밀도와 이미지 품질을 향상시킨다.
• 충돌하는 제어 신호 하에서 큰 제어 네트워크가 유도하는 의미론적 편향을 완화한다.
• 피드백 지연이 제거된 상황에서 최소한의 제어 네트워크가 더 큰, 더 복잡한 대체 모델들보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 제어 네트워크를 생성 모델의 아키텍처에서 분리하여, 제어 네트워크가 생성 능력을 학습할 필요가 없도록 한다.
• 가이던스 입력(예: 깊이 맵, 윤곽 맵)을 처리하고 확산 모델의 노이즈 제거 블록에 직접 제어 신호를 주입하는 경량 제어 네트워크(ControlNet-XS)를 설계한다.
• 훈련 및 추론 중 생성 네트워크와 제어 네트워크 간 실시간 이중 정보 흐름을 보장함으로써 피드백 지연을 제거한다.
• 생성 능력을 갖추지 않은 경량 비생성 아키텍처를 제어 네트워크에 사용하여, ControlNet의 약 ~100M 대비 1.7M에서 55M의 파라미터만을 사용한다.
• 중간 노이즈 제거 블록에서 가속 가능한 가중치(α)를 통해 제어 신호를 주입함으로써 생성 모델의 원래 능력을 유지한다.
• 생성 모델을 동결한 채로 제어 네트워크를 엔드 투 엔드로 훈련하며, 훈련 안정성을 높이기 위해 제로 컨볼루션 초기화를 사용한다.

(a) ControlNet [ 72 ]

실험 결과

연구 질문

• RQ1 생성 능력을 학습하지 않도록 제어 네트워크를 설계할 수 있는가? 이는 효율성과 제어 정밀도 향상에 기여하는가?
• RQ2 생성 네트워크와 제어 네트워크 간의 피드백 지연을 제거하면, 더 작은 모델에서도 더 나은 성능을 낼 수 있는가?
• RQ3 매우 작은 제어 네트워크가 ControlNet과 같은 더 큰, 더 복잡한 모델들보다 이미지 품질과 제어 정확도에서 뛰어난 성능을 낼 수 있는가?
• RQ4 큰 제어 네트워크가 충돌하는 제어 신호 하에서 얼마나 심각한 의미론적 편향을 유도하는가?
• RQ5 제어 네트워크의 모델 크기가 충돌하거나 일치하지 않는 제어 입력 하에서 제어 정밀도와 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 1.7M 파라미터를 가진 ControlNet-XS는 훨씬 더 작음에도 불구하고 ControlNet보다 더 높은 이미지 품질과 제어 정밀도를 달성한다.
• 55M 파라미터를 가진 ControlNet-XS 모델은 훈련 및 추론 모두에서 ControlNet보다 약 2배 더 빠르며, 성능은 유지 또는 향상된다.
• ControlNet-XS는 충돌하는 제어 신호 하에서도 뛰어난 성능을 보이며, 예를 들어 거리 풍경에 케이크를 생성하는 경우, ControlNet은 제어 강도 α를 조정해도 실패하는 반면 ControlNet-XS는 성공한다.
• 가장 작은 ControlNet-XS 모델(1.7M 파라미터)은 더 큰 변종들에 비해 제어 정밀도가 다소 낮지만, 여전히 강력한 가이던스를 유지하므로 크기와 정밀도 사이의 상충 관계가 있음을 시사한다.
• ControlNet-XS는 의미론적 편향을 완화한다: ControlNet은 낮은 α에서도 깊이 맵에 의미론적 의미를 강제하지만, ControlNet-XS는 생성 모델의 원래 의미를 유지한다.
• Stable Diffusion XL에서의 정량적 평가 결과, ControlNet-XS는 T2I-Adapter를 능가하고 ControlNet의 성능을 충족하거나 초월하며, 파라미터 수의 일부분으로서 뛰어난 성능을 보였다.

(b) ControlNet-XS (Ours)