[논문 리뷰] Real-Time Video Super-Resolution on Smartphones with Deep Learning, Mobile AI 2021 Challenge: Report

Andrey Ignatov, Andrés Romero외 29명|arXiv (Cornell University)|2021. 05. 17.

Advanced Image Processing Techniques참고 문헌 53인용 수 9

한 줄 요약

이 논문은 실시간 영상 초해상도를 위한 Mobile AI 2021 챌린지를 소개하며, 모바일 GPU에 최적화된 효율적인 딥러닝 모델을 제시한다. 팀들은 REDS 데이터셋을 기반으로 훈련한 경량 CNN 기반 아키텍처—예를 들어, TinyVSRNet, Rainbow, EVSRNet—을 개발하여 OPPO Find X2에서 최대 80 FPS로 4× 확대를 달성했으며, 높은 정밀도를 유지하면서 Tensorflow Lite 및 모바일 AI 가속기와의 완전한 호환성을 확보했다.

ABSTRACT

Video super-resolution has recently become one of the most important mobile-related problems due to the rise of video communication and streaming services. While many solutions have been proposed for this task, the majority of them are too computationally expensive to run on portable devices with limited hardware resources. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based video super-resolution solutions that can achieve a real-time performance on mobile GPUs. The participants were provided with the REDS dataset and trained their models to do an efficient 4X video upscaling. The runtime of all models was evaluated on the OPPO Find X2 smartphone with the Snapdragon 865 SoC capable of accelerating floating-point networks on its Adreno GPU. The proposed solutions are fully compatible with any mobile GPU and can upscale videos to HD resolution at up to 80 FPS while demonstrating high fidelity results. A detailed description of all models developed in the challenge is provided in this paper.

연구 동기 및 목표

• 제한된 하드웨어 자원을 가진 모바일 GPU에서 실시간으로 작동하는 종단 간 딥러닝 기반 영상 초해상도 모델을 개발하는 것.
• 계산 및 메모리 제약로 인해 실생활에서의 구현이 어려운 고정밀 영상 초해상도 모델과의 격차를 해소하는 것.
• 특히 스냅드래곤 865와 아드레노 650 GPU를 탑재한 OPPO Find X2와 같은 실제 스마트폰에서 직접 평가함으로써 모바일 AI의 벤치마크를 설정하는 것.
• 모바일 추론 프레임워크인 Tensorflow Lite 및 안드로이드 NNAPI와의 호환성을 확보하여 다중 플랫폼 배포를 가능하게 하는 것.
• 모델 설계 및 훈련 과정에서 PSNR와 FLOPS를 동시에 최적화하여 재구성 정밀도와 계산 효율성의 균형을 이루는 것.

제안 방법

• 참가자들은 입력으로 4×로 저해상도화된 영상 프레임, 타겟으로 고해상도 프레임을 사용하여 REDS 데이터셋에서 모델을 훈련시켰다.
• 모든 모델는 잔차 블록, 딥스페이스 업샘플링, 스킵 연결을 포함한 경량 컨볼루션 신경망(CNN) 아키텍처를 사용하여 세부 사항을 유지했다.
• Rainbow 팀은 다중 스케일에서의 특징 표현을 향상시키기 위해 정보 다중 증류 블록(IMDB_s)을 사용했다.
• Noah_TerminalVision 팀은 추론 시 융합되는 비대칭 컨볼루션(3×3, 1×3, 3×1)을 도입하여 최소한의 FLOPs로 성능을 향상시켰다.
• 모델 훈련은 Adam 옵timizer를 사용하고, 배치 정규화, 데이터 증강(뒤집기) 및 학습률 스케줄링을 적용하여 수렴을 도모했다.
• 최종 모델는 양자화되어 Tensorflow Lite를 통해 배포되었으며, 안드로이드 NNAPI, GPU 딜리게이트 또는 NPU 전용 딜리게이트를 통해 가속화되었다.

실험 결과

연구 질문

• RQ1 경량 CNN 기반 영상 초해상도 모델이 모바일 GPU에서 실시간 성능(≥30 FPS)을 확보하면서도 높은 재구성 정밀도를 유지할 수 있는가?
• RQ2 잔차 블록, 다중 증류, 비대칭 컨볼루션과 같은 다양한 아키텍처 선택이 모바일 디바이스에서 속도와 품질 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 모바일 전용 최적화(예: 양자화, 모델 압축, NPU 인식 설계)를 통해 추론 효율성을 향상시킬 수 있는 정도는 어느 정도이며, PSNR를 손상시키지 않을까?
• RQ4 TensorFlow Lite와 안드로이드 NNAPI를 통한 통합 배포 파이프라인은 다양한 모바일 디바이스에서의 다중 플랫폼 호환성과 하드웨어 가속을 보장할 수 있는가?
• RQ5 실제 스마트폰(예: OPPO Find X2)에서 직접 평가하는 방식이 표준 데스크톱 기반 벤치마킹에 비해 실제 성능 예측에 더 유용한가?

주요 결과

• 최고 성능을 보인 모델들은 OPPO Find X2 스마트폰에서 최대 80 FPS를 달성하여 모바일 GPU에서 실시간 영상 초해상도를 입증했다.
• Noah_TerminalVision 팀의 TinyVSRNet는 REDS 검증 세트에서 단지 1.2 GFLOPs로 31.2 dB의 PSNR를 기록하여 뛰어난 효율-품질 균형을 보였다.
• Rainbow 팀의 다중 증류 아키텍처는 기준 모델 대비 정밀도를 0.3 dB 향상시켜 가벼운 네트워크에서의 특징 정제의 유용성을 입증했다.
• 모든 제출된 모델는 Tensorflow Lite를 통해 성공적으로 모바일 기기로 배포되었으며, 안드로이드 NNAPI 또는 기기 전용 딜리게이트를 통해 가속화되었다.
• 이 챌린지는 모바일 최적화된 모델이 실시간 제약 조건을 충족하면서도 최대 31.5 dB의 높은 PSNR를 달성할 수 있음을 입증했다.
• 비대칭 컨볼루션과 모델 증류의 사용은 최소한의 계산 오버헤드로 성능 향상을 크게 이끌었으며, 이는 모바일 AI 설계에서의 핵심 요소임을 입증했다.