[논문 리뷰] MFAGAN: A Compression Framework for Memory-Efficient On-Device Super-Resolution GAN

Wenlong Cheng, Mingbo Zhao외 2명|arXiv (Cornell University)|2021. 07. 27.

Advanced Image Processing Techniques인용 수 11

한 줄 요약

MFAGAN은 다중 해상도 특징 집약 생성기, 경량 PatchGAN 판별기, 지식 정복과 하드웨어 인식 신경망 구조 탐색을 조합한 이중 단계 압축 파이프라인을 도입하여 이동 장치에서의 초해상도를 위한 메모리 효율적인 GAN 프레임워크를 제안한다. ESRGAN 대비 최대 8.3배 메모리 감소와 42.9배 계산 감소를 달성하면서도 시각적 품질 저하가 미미하며, 스냅드래곤 865에서 약 70ms 지연으로 실시간 추론을 가능하게 한다.

ABSTRACT

Generative adversarial networks (GANs) have promoted remarkable advances in single-image super-resolution (SR) by recovering photo-realistic images. However, high memory consumption of GAN-based SR (usually generators) causes performance degradation and more energy consumption, hindering the deployment of GAN-based SR into resource-constricted mobile devices. In this paper, we propose a novel compression framework extbf{M}ulti-scale extbf{F}eature extbf{A}ggregation Net based extbf{GAN} (MFAGAN) for reducing the memory access cost of the generator. First, to overcome the memory explosion of dense connections, we utilize a memory-efficient multi-scale feature aggregation net as the generator. Second, for faster and more stable training, our method introduces the PatchGAN discriminator. Third, to balance the student discriminator and the compressed generator, we distill both the generator and the discriminator. Finally, we perform a hardware-aware neural architecture search (NAS) to find a specialized SubGenerator for the target mobile phone. Benefiting from these improvements, the proposed MFAGAN achieves up to extbf{8.3}$ imes$ memory saving and extbf{42.9}$ imes$ computation reduction, with only minor visual quality degradation, compared with ESRGAN. Empirical studies also show $\sim$ extbf{70} milliseconds latency on Qualcomm Snapdragon 865 chipset.

연구 동기 및 목표

• 메모리와 에너지원이 제한된 이동 장치에 GAN 기반 초해상도 모델을 구현할 때 발생하는 높은 메모리 및 계산 비용 문제를 해결한다.
• 특히 이동 장치 배포를 위해 압축된 경우에도 GAN 기반 SR 모델에서 발생하는 안정성 문제와 메모리 폭발 문제를 극복한다.
• 대상 이동 하드웨어에서 모델 효율성, 추론 속도, 시각적 품질 간 균형을 맞추는 하드웨어 인식 압축 프레임워크를 개발한다.
• 구조적 혁신과 모델 압축을 통해 아키텍처 혁신과 모델 압축을 통해 실시간 이동 장치 추론을 가능하게 하고 시각적 품질 저하를 최소화한다.

제안 방법

• 밀도 있는 연결을 대체하기 위해 메모리 접근 비용을 줄이는 메모리 효율적 다중 해상도 특징 집약 모듈(MFAM)을 설계하여 생성기의 메모리 효율성을 향상시킨다.
• 학습 안정성과 시각적 품질 향상을 위해 경량 PatchGAN 판별기를 도입하며, 특히 압축된 생성기와 조합될 경우 효과가 뚜렷하다.
• 이중 단계 압축 파이프라인 적용: 먼저 생성기와 판별기를 모두 정규화하여 압축 모델의 학습 안정성을 확보하고, 이후 NAS 기반 채널 프루닝을 적용하여 추가적인 메모리 감소를 달성한다.
• 하드웨어 인식 진화적 탐색을 수행하여 대상 이동 칩셋(예: 스냅드래곤 865)에 최적화된 서브 생성기(SubGenerator)를 특화한다. 이는 지연과 메모리 효율성 최적화를 목표로 한다.
• 실제 이동 장치에서의 추론 성능 검증을 위해 최종 모델을 TensorFlow Lite를 사용해 배포한다.
• 지식 정복을 통해 학생 판별기와 압축된 생성기를 균형 있게 조정하여 모드 붕괴를 방지하고 고품질 생성을 유지한다.

(a)

실험 결과

연구 질문

• RQ1 메모리 효율적 생성기 아키텍처는 시각적 품질을 희생시키지 않고도 GAN 기반 초해상도에서 메모리 접근 비용을 줄일 수 있는가?
• RQ2 압축된 생성기와 함께 사용될 경우, 경량 PatchGAN 판별기는 표준 판별기와 비교해 학습 안정성에 어떤 영향을 미치는가?
• RQ3 지식 정복을 통해 생성기와 판별기를 모두 정규화할 경우, 압축된 GAN의 학습 안정성 향상에 효과적인가?
• RQ4 하드웨어 인식 신경망 구조 탐색은 이동 플랫폼에서 모델 효율성과 추론 지연을 얼마나 최적화할 수 있는가?
• RQ5 압축된 이동 장치 GAN에서 메모리 감소, 계산 절감, 시각적 품질 간의 상호 상충 관계는 어느 정도인가?

주요 결과

• MFAGAN은 ESRGAN 대비 최대 8.3배 메모리 접근 비용 감소와 42.9배 FLOPs 감소를 달성했으며, PSNR는 0.29dB 감소(32.59 vs. 31.13)하고 LPIPS는 0.0118 향상(0.0514 vs. 0.0632)되었다.
• 퀄컴 스냅드래곤 865 GPU에서 MFAGAN은 4배 초해상도에 대해 70ms의 추론 지연을 기록하여 ESRGAN의 1150ms 대비 16.4배의 속도 향상을 달성했다.
• 경량 PatchGAN 판별기는 특히 경량 MFANet 생성기와 조합된 경우, 기존 ESRGAN 판별기 대비 학습 안정성과 PSNR 성능 향상에 뚜렷한 효과를 보였다.
• 이중 단계 압축 파이프라인(먼저 정규화, 이후 NAS 기반 프루닝)은 학습 안정성을 효과적으로 확보하고 효과적인 모델 압축을 가능하게 하여 기존 GAN 압축 방법(예: AGD)을 능가했다.
• 기준 데이터셋 전반에서 MFAGAN은 PSNR와 LPIPS 모두 최신 기술(SOTA) 수준의 성능을 달성했으며, 메모리와 계산 요구량은 극적으로 감소시켰다.
• 시각적 비교 결과, MFAGAN은 날카운 에지와 풍부한 질감을 유지하며, 특히 털과 천 등 도전적인 디테일에서 ESRGAN 및 기타 SOTA 방법과 비교해도 손상이 없거나 이를 초월하는 시각적 품질을 확보했다.

(b)