[논문 리뷰] Lightweight Image Super-Resolution with Hierarchical and Differentiable Neural Architecture Search

Han Huang, Shen Li외 4명|arXiv (Cornell University)|2021. 05. 09.

Advanced Image Processing Techniques참고 문헌 45인용 수 10

한 줄 요약

이 논문은 경량 단일 이미지 초해상도(SISR)를 위한 유연한 계층적 신경망 아키텍처 탐색(NAS) 프레임워크를 제안한다. 정보 정련 기반의 탐색 공간을 사용해 셀 수준과 네트워크 수준 아키텍처를 동시에 최적화하며, 단일 GPU에서 ×2 초해상도에 대해 68G Multi-Adds, ×4 초해상도에 대해 18G Multi-Adds로 상태최저 수준의 PSNR 및 SSIM 성능을 달성한다. 이는 수작업 설계된 모델과 이전의 NAS 기반 SISR 모델보다 효율성과 정확도 면에서 뛰어나다.

ABSTRACT

Single Image Super-Resolution (SISR) tasks have achieved significant performance with deep neural networks. However, the large number of parameters in CNN-based methods for SISR tasks require heavy computations. Although several efficient SISR models have been recently proposed, most are handcrafted and thus lack flexibility. In this work, we propose a novel differentiable Neural Architecture Search (NAS) approach on both the cell-level and network-level to search for lightweight SISR models. Specifically, the cell-level search space is designed based on an information distillation mechanism, focusing on the combinations of lightweight operations and aiming to build a more lightweight and accurate SR structure. The network-level search space is designed to consider the feature connections among the cells and aims to find which information flow benefits the cell most to boost the performance. Unlike the existing Reinforcement Learning (RL) or Evolutionary Algorithm (EA) based NAS methods for SISR tasks, our search pipeline is fully differentiable, and the lightweight SISR models can be efficiently searched on both the cell-level and network-level jointly on a single GPU. Experiments show that our methods can achieve state-of-the-art performance on the benchmark datasets in terms of PSNR, SSIM, and model complexity with merely 68G Multi-Adds for $ imes 2$ and 18G Multi-Adds for $ imes 4$ SR tasks. Code will be available at \url{this https URL}.

연구 동기 및 목표

• 기존의 CNN 기반 SISR 모델이 가지는 높은 계산 비용과 파라미터 부담 문제를 효율적인 아키텍처 설계를 통해 해결한다.
• 수작업으로 설계된 SISR 모델의 한계를 극복하기 위해 유연하고 자동화된 탐색 프레임워크를 도입한다.
• 셀 수준과 네트워크 수준의 공동 탐색 공간을 개발하여 SISR에 최적화된 마이크로 아키텍처와 매크로 구조를 동시에 최적화한다.
• 단일 GPU에서 실행 가능한 효율적이고 종단 간으로 미분 가능한 NAS를 실현하여, 고비용의 강화학습 또는 진화 알고리즘 기반 탐색 파이프라인을 피한다.
• 기존의 경량 SISR 방법들과 비교해 PSNR, SSIM 및 모델 복잡도 면에서 뛰어난 성능을 달성한다.

제안 방법

• 특징 표현을 향상시키는 경량 연산을 우선시하는 정보 정련 기반의 셀 수준 탐색 공간을 설계한다.
• 셀 수준 및 네트워크 수준 아키텍처 선택에 대해 기울기 기반 최적화가 가능한 유연한 탐색 전략을 수립한다.
• 셀 간의 특징 흐름 연결을 모델링하여 최적의 정보 전파 경로를 식별하는 네트워크 수준 탐색 공간을 구성한다.
• 셀 수준과 네트워크 수준 탐색을 통합한 유일한, 유연한 파이프라인으로 아키텍처와 가중치를 동시에 최적화하는 단일 학습 과정을 구현한다.
• 전체 탐색 과정을 단일 GPU에서 수행하여 강화학습 또는 진화 알고리즘 기반 NAS 방법에 비해 훨씬 낮은 학습 비용을 확보한다.
• 단일 단계 학습 목표를 가진 유연한 아키텍처 탐색(DARTS 스타일)을 적용해 효율적으로 경량 SISR 모델을 탐색한다.

실험 결과

연구 질문

• RQ1 유연하고 계층적인 NAS 프레임워크가 셀 수준과 네트워크 수준 아키텍처를 동시에 최적화함으로써 경량 SISR의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 정보 정련 기반의 셀 수준 탐색 공간은 SISR 작업에서 성능을 향상시키면서도 모델 복잡도를 감소시키는 데 어떻게 기여하는가?
• RQ3 완전히 유연한 탐색 파이프라인이 SISR 분야에서 강화학습 또는 진화 알고리즘 기반 NAS에 비해 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 엄격한 FLOPs 제약 조건 하에서 SISR 성능을 향상시키는 데 기여하는 최적의 셀 간 정보 흐름 패턴은 무엇인가?
• RQ5 제안된 방법이 낮은 파라미터 수와 추론 비용을 유지하면서도 PSNR 및 SSIM 성능 면에서 상태최저 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ×2 및 ×4 초해상도 작업 모두에서 벤치마크 데이터셋에서 상태최저 수준의 PSNR 및 SSIM 성능를 달성한다.
• 최종적으로 탐색된 모델은 ×2 초해상도에 대해 단지 68G Multi-Adds, ×4 초해상도에 대해 18G Multi-Adds로 계산 복잡도를 크게 감소시킨다.
• 유연한 탐색 파이프라인이 단일 GPU에서 효율적인 아키텍처 탐색을 가능하게 하여 고비용의 강화학습 또는 진화 알고리즘을 배제한다.
• 정보 정련 기반의 셀 수준 탐색 공간은 경량이면서도 높은 영향력을 지닌 연산을 선택함으로써 정확도와 효율성의 균형을 효과적으로 달성한다.
• 네트워크 수준 탐색은 모델 크기를 늘리지 않으면서도 성능 향상을 이끄는 최적의 특징 연결 패턴을 식별한다.
• 기존의 수작업 설계된 모델과 NAS 기반 SISR 모델보다 정확도와 모델 복잡도 면에서 뛰어난 성능을 보이며, 효율성-정확도 트레이드오프 면에서 뛰어난 성능을 입증한다.