[논문 리뷰] SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices

Xin Liu, Yuang Li외 5명|arXiv (Cornell University)|2021. 01. 20.

Advanced Image Processing Techniques참고 문헌 44인용 수 4

한 줄 요약

SplitSR는 모바일 CPU에서 실시간 초해상도를 구현할 수 있는 최신 기술을 구현한 하이브리드 딥러닝 아키텍처이다. 이는 새로운 경량 잔차 블록(SplitSRBlock)을 포함하며, 채널 분할과 표준 및 경량 컨볼루션의 하이브리드 설계를 통해 이전 방법보다 최대 5배 빠른 추론 속도와 높은 정확도를 달성한다. 이를 통해 첫 번째 실시간, 온디바이스 딥러닝 초해상도 앱(ZoomSR)이 가능해졌다.

ABSTRACT

Super-resolution (SR) is a coveted image processing technique for mobile apps ranging from the basic camera apps to mobile health. Existing SR algorithms rely on deep learning models with significant memory requirements, so they have yet to be deployed on mobile devices and instead operate in the cloud to achieve feasible inference time. This shortcoming prevents existing SR methods from being used in applications that require near real-time latency. In this work, we demonstrate state-of-the-art latency and accuracy for on-device super-resolution using a novel hybrid architecture called SplitSR and a novel lightweight residual block called SplitSRBlock. The SplitSRBlock supports channel-splitting, allowing the residual blocks to retain spatial information while reducing the computation in the channel dimension. SplitSR has a hybrid design consisting of standard convolutional blocks and lightweight residual blocks, allowing people to tune SplitSR for their computational budget. We evaluate our system on a low-end ARM CPU, demonstrating both higher accuracy and up to 5 times faster inference than previous approaches. We then deploy our model onto a smartphone in an app called ZoomSR to demonstrate the first-ever instance of on-device, deep learning-based SR. We conducted a user study with 15 participants to have them assess the perceived quality of images that were post-processed by SplitSR. Relative to bilinear interpolation -- the existing standard for on-device SR -- participants showed a statistically significant preference when looking at both images (Z=-9.270, p<0.01) and text (Z=-6.486, p<0.01).

연구 동기 및 목표

• 고성능 딥러닝 초해상도(SR) 모델을 자원이 제한된 모바일 기기에서 구동하기 위해 높은 메모리 및 계산 요구량을 해결한다.
• 클라우드 기반 SR의 지연 및 개인정보 보호 문제를 해결하기 위해 저성능 모바일 하드웨어에서 종단 간 온디바이스 추론을 가능하게 한다.
• 엄격한 계산 및 메모리 예산 내에서 높은 이미지 품질을 유지하면서도 모바일 최적화된 SR 시스템을 개발한다.
• 실제 사용 사례를 위해 생산 수준의 스마트폰 애플리케이션(ZoomSR)을 통해 실시간, 온디바이스 SR의 구현 가능성을 입증한다.
• 클라우드 연결이 불안정하거나 불가능한 저자원 환경에서 개인정보 보호가 가능하고 지연이 낮은 모바일 헬스 애플리케이션을 위한 초해상도를 제공한다.

제안 방법

• 표준 컨볼루션 블록과 경량 SplitSRBlocks를 조합한 하이브리드 CNN 아키텍처인 SplitSR을 제안하여 정확도와 효율성의 균형을 이룬다.
• 2D 컨볼루션 내에서 채널 분할을 수행하는 새로운 잔차 블록인 SplitSRBlock을 도입하여 공간 정보를 유지하면서도 채널 기반 계산을 줄인다.
• ARM CPU에서 효율적인 추론을 위해 현대적인 딥러닝 컴파일러(TVM)를 활용하여 저수준 연산 최적화를 수행한다. 이에는 커널 융합 및 메모리 접근 최적화가 포함된다.
• 채널 분할 비율 및 블록 배치와 같은 하이퍼파라미터 조정을 통해 다양한 계산 예산에 맞게 하이브리드 아키텍처를 튜닝할 수 있는 모델 배포 파이프라인을 설계한다.
• 저성능 ARM CPU(Google Pixel 4)에서 시스템을 구현하고 평가하며, 종단 간 온디바이스 SR을 위한 실제 애플리케이션인 ZoomSR에 배포한다.
• 핀치 줌 조작 상호작용 중 예측 가능한 줌 수준을 고려하여 모델 스케줄링 및 제스처 예측을 통해 추론 지연을 최적화한다.

실험 결과

연구 질문

• RQ1 표준 및 경량 잔차 블록을 조합한 하이브리드 CNN 아키텍처가 모바일 CPU에서 온디바이스 배포에 적합할 정도로 효율적이면서도 높은 초해상도 정확도를 달성할 수 있는가?
• RQ2 SplitSRBlock의 채널 분할 기법이 초해상도에서 계산 효율성과 특징 보존 간의 균형을 어떻게 향상시키는가?
• RQ3 온디바이스 초해상도가 기존 클라우드 기반 SR 솔루션에 비해 지연을 얼마나 줄이고 클라우드 처리 의존도를 제거할 수 있는가?
• RQ4 실시간, 온디바이스 딥러닝 초해상도가 생산 수준의 모바일 애플리케이션에서 성공적으로 구현되어 기존 방법 대비 사용자 선호도가 유의미하게 향상되는가?
• RQ5 사용자 상호작용 패턴(예: 핀치 줌 제스처)을 어떻게 활용하여 모델 선택을 최적화하고 추론 지연을 추가로 줄일 수 있는가?

주요 결과

• SplitSR는 저성능 ARM CPU에서 이전 최고 수준의 방법보다 최대 5배 빠른 추론 속도를 달성하면서도 더 높은 이미지 재구성 정확도를 유지한다.
• 사용자 연구 결과, SplitSR는 이중선형 보간 대비 이미지 품질(Z = -9.270, p < 0.01)과 텍스트 가독성(Z = -6.486, p < 0.01)에서 통계적으로 유의미한 선호도를 보였다.
• ZoomSR 앱은 스마트폰에서 종단 간 온디바이스 딥러닝 기반 초해상도를 처음으로 구현한 사례로, 클라우드 의존 없이 실시간 처리를 가능하게 했다.
• SplitSRBlock의 채널 분할 메커니즘은 채널 차원의 계산을 효과적으로 줄이며 동시에 공간적 특징을 보존하여 속도 및 정확도 향상에 기여한다.
• 하이브리드 아키텍처는 표준 블록과 경량 블록의 비율 조정을 통해 다양한 계산 예산에 맞게 탄력적으로 튜닝할 수 있다.
• TVM 컴파일러를 통한 저수준 최적화를 통해 모바일 CPU에서 효율적인 커널 스케줄링 및 메모리 접근 패턴을 구현하여 모델 성능이 추가로 향상되었다.