[논문 리뷰] MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis

Sergei Belousov|arXiv (Cornell University)|2021. 04. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 13

한 줄 요약

MobileStyleGAN은 스타일 기반 GAN 아키텍처로서 파라미터 수를 3.5배 감소시키고 계산 복잡도를 9.5배 감소시켰으며, StyleGAN2에 비해 유사한 이미지 품질(FID=7.75 vs. 2.84, FFHQ 1024×1024 기준)을 달성한다. 이는 사전 학습된 StyleGAN2 교사 모델에서 지식 정복을 통해 달성되며, 깊이 분리형 조절 컨볼루션을 도입하고, 그래프 최적화 및 OpenVINO 가속을 통해 엣지 디바이스에서의 효율적 추론을 가능하게 한다.

ABSTRACT

In recent years, the use of Generative Adversarial Networks (GANs) has become very popular in generative image modeling. While style-based GAN architectures yield state-of-the-art results in high-fidelity image synthesis, computationally, they are highly complex. In our work, we focus on the performance optimization of style-based generative models. We analyze the most computationally hard parts of StyleGAN2, and propose changes in the generator network to make it possible to deploy style-based generative networks in the edge devices. We introduce MobileStyleGAN architecture, which has x3.5 fewer parameters and is x9.5 less computationally complex than StyleGAN2, while providing comparable quality.

연구 동기 및 목표

• 최신 스타일 기반 GAN, 예를 들어 StyleGAN2와 같은 고성능 모델의 높은 계산 비용이 엣지 디바이스에의 배포를 제한하는 문제를 해결하기 위해.
• 고해상도 합성에서 이미지 품질을 손상시키지 않은 채 모델 크기와 추론 복잡도를 줄이기 위해.
• 아키텍처 재설계 및 모델 압축 기법을 통해 CPU 및 모바일 플랫폼에서의 효율적 추론을 가능하게 하기 위해.
• 웨이블릿 기반 표현을 생성 모델에 통합하여 효율성 향상과 더불어 매끄러운 잠재 공간 확보를 탐색하기 위해.
• 대규모 교사 네트워크(StyleGAN2)에서 소형 학생 네트워크(MobileStyleGAN)로의 지식 전달을 가능하게 하는 정복 파ip라인 개발을 위해.

제안 방법

• 출력 이미지의 이산 웨이블릿 변환(DWT)을 예측하는 방식으로 웨이블릿 기반 이미지 표현을 도입함으로써 주파수 도메인 처리를 가능하게 한다.
• 기존 조절 컨볼루션의 경량 대체품으로 깊이 분리형 조절 컨볼루션(DSMC)을 도입하여 FLOPs를 감소시키면서도 스타일 조절 기능을 유지한다.
• 그래프 수준 최적화(예: 연산 융합, 상수 폴딩)와 호환 가능한 개선된 디모듈레이션 메커니즘을 제안한다.
• 학생 네트워크가 교사(StyleGAN2)의 출력을 흉내 내는 지식 정복을 통해 MobileStyleGAN을 학습함: 인지 손실, GAN 손실, 픽셀 수준 손실을 활용한다.
• L1 픽셀 손실, VGG16 기반 인지 손실, R1 정규화를 적용한 적대적 GAN 손실을 조합한 다중 손실 목표 함수를 사용하여 학습 안정성을 향상시킨다.
• 가능한 증강 기법(애핀 변환, 컷아웃)과 OpenVINO를 활용하여 CPU에서 최적화된 추론을 구현함으로써 실시간 얼굴 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GAN에서 웨이블릿 기반 주파수 도메인 표현이 고해상도 이미지 합성의 정밀도를 유지하면서도 계산 복잡도를 크게 감소시킬 수 있는가?
• RQ2 깊이 분리형 조절 컨볼루션은 이미지 품질에 영향을 주지 않고 기존 조절 컨볼루션을 얼마나 효과적으로 대체할 수 있는가?
• RQ3 대규모 StyleGAN2 모델에서 소형 MobileStyleGAN 학생 모델로의 지식 정복이 고해상도 이미지 생성 능력을 얼마나 효과적으로 전달할 수 있는가?
• RQ4 아키텍처 수정을 통해 고성능 하드웨어에 의존하지 않고도 CPU 및 엣지 디바이스에서의 효율적 추론을 가능하게 할 수 있는가?
• RQ5 웨이블릿 변환과 최적화된 정규화의 통합이 잠재 공간의 매끄러움과 학습 안정성 향상에 기여하는가?

주요 결과

• MobileStyleGAN은 StyleGAN2의 28.27M에서 8.01M로 모델 파라미터를 감소시켜 모델 크기를 3.5배 줄였다.
• 계산 복잡도는 143.15 GMACs에서 15.09 GMACs로 감소하여 FLOPs 기준 9.5배 감소하였다.
• FFHQ 데이터셋에서 MobileStyleGAN은 FID 7.75를 기록했으며, StyleGAN2의 2.84와 비교해도 압축에도 불구하고 높은 인지 품질을 확보하였다.
• Intel i5-8279U CPU에서 추론 시간은 PyTorch 기반 4.3초에서 OpenVINO 사용 시 0.16초로 감소하여 강력한 최적화 잠재력을 입증하였다.
• 상수 폴딩 및 연산 융합과 같은 그래프 최적화 기법을 활용한 OpenVINO는 실시간 추론을 가능하게 하여 MobileStyleGAN이 엣지 배포에 적합함을 입증하였다.
• 정복 파이프라인은 고해상도 생성 능력을 성공적으로 전달하였으며, 인지 손실과 적대적 손실이 현실적이고 선명한 출력을 보장하였다.