[논문 리뷰] Efficient Residual Dense Block Search for Image Super-Resolution

Dehua Song, Chang Xu외 4명|arXiv (Cornell University)|2019. 09. 25.

Advanced Image Processing Techniques참고 문헌 24인용 수 12

한 줄 요약

이 논문은 속도, 정확도, 모델 크기 측면에서 최적화된 효율적인 이미지 슈퍼레졸루션을 위한 진화적 신경망 아키텍처 탐색 방법을 제안한다. 커스터마이징된 잔차 밀집 블록(CRDB, SRDB, GRDB)과 블록 신용 기반 변형을 사용하여, 기존 모델보다 훨씬 낮은 FLOPs와 파라미터 수로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although remarkable progress has been made on single image super-resolution due to the revival of deep convolutional neural networks, deep learning methods are confronted with the challenges of computation and memory consumption in practice, especially for mobile devices. Focusing on this issue, we propose an efficient residual dense block search algorithm with multiple objectives to hunt for fast, lightweight and accurate networks for image super-resolution. Firstly, to accelerate super-resolution network, we exploit the variation of feature scale adequately with the proposed efficient residual dense blocks. In the proposed evolutionary algorithm, the locations of pooling and upsampling operator are searched automatically. Secondly, network architecture is evolved with the guidance of block credits to acquire accurate super-resolution network. The block credit reflects the effect of current block and is earned during model evaluation process. It guides the evolution by weighing the sampling probability of mutation to favor admirable blocks. Extensive experimental results demonstrate the effectiveness of the proposed searching method and the found efficient super-resolution models achieve better performance than the state-of-the-art methods with limited number of parameters and FLOPs.

연구 동기 및 목표

• 모바일 디바이스에서 딥러닝 기반 슈퍼레졸루션 모델의 높은 계산 비용과 메모리 소비 문제를 해결하기 위해.
• 성능을 유지하면서 파라미터와 FLOPs를 줄이는 효율적인 잔차 밀집 블록을 설계하기 위해.
• 정확도, 속도, 모델 크기의 다중 목적 최적화를 위한 신경망 아키텍처 탐색 프레임워크를 개발하기 위해.
• 진화적 탐색을 향상시키기 위해 블록 신용을 동적 메트릭으로 도입하여 고성능 블록을 우선적으로 탐색하기 위해.
• FLOPs와 파라미터 수에 엄격한 제약 조건이 있는 상황에서 최신 기술 수준의 슈퍼레졸루션 성능을 달성하기 위해.

제안 방법

• 채널 감소, 필터 최적화, 특징 스케일 조작을 통해 모델 복잡도를 감소시키기 위해 새로운 잔차 밀집 블록 세 종류—문맥 잔차 밀집 블록(CRDB), 수축 잔차 밀집 블록(SRDB), 그룹 잔차 밀집 블록(GRDB)—을 제안한다.
• 최적의 네트워크 아키텍처를 탐색하기 위해 진화 알고리즘을 활용하며, 풀링 및 업샘플링 위치는 탐색 과정에서 자동으로 결정된다.
• 모델 평가 중 획득하는 블록 신용을 성능 메트릭으로 도입하여, 고신용 블록의 샘플링 확률을 높임으로써 변형 과정을 가이드한다.
• 더 높은 신용을 가진 블록을 우선순위로 삼는 가이드드 진화 전략을 사용하여 수렴 속도를 높이고 탐색 효율성을 향상시킨다.
• 최적의 블록 유형과 배열을 찾기 위해 정의된 블록 공간 내에서 탐색을 수행하며, 성능 향상을 위해 서로 다른 블록 유형의 혼합 배열을 선호한다.
• 잔차 밀집 블록 프레임워크 내에서 풀링과 업샘플링을 활용한 특징 스케일 변동을 통해 정보 유지와 계산 효율성의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 진화적 아키텍처 탐색 방법이 슈퍼레졸루션 네트워크의 속도, 정확도, 모델 크기를 동시에 최적화하는 데 효과적인가?
• RQ2 잔차 밀집 블록 내부에 풀링 연산을 통합할 경우 슈퍼레졸루션 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 블록 신용이 슈퍼레졸루션 분야의 신경망 아키텍처 탐색에서 효율성과 효과성을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 블록과 탐색 전략이 엄격한 FLOPs와 파라미터 제약 조건 하에서 수작업 설계된 모델과 기존 NAS 기반 슈퍼레졸루션 모델을 초월할 수 있는가?
• RQ5 다양한 블록 유형(CRDB, SRDB, GRDB)을 최적의 배열로 조합할 경우 슈퍼레졸루션 성능을 극대화할 수 있는가?

주요 결과

• 제안된 ESRN 및 ESRN-V 모델은 Set5, Set14, Urban100, Manga109 등 여러 벤치마크 데이터셋에서 유사하거나 낮은 FLOPs와 파라미터 수로 최신 기술 수준의 PSNR 및 SSIM 점수를 달성한다.
• ×2 스케일에서 Urban100 데이터셋에서 ESRN-V는 FALSR보다 PSNR에서 0.51 dB 높은 성능을 보이며 더 적은 파라미터와 Multi-Adds를 사용한다.
• ESRN-F 버전은 모든 네 개의 벤치마크 데이터셋에서 FALSR-A보다 약간 높은 PSNR를 기록하지만, 약 50% 정도의 Multi-Adds만을 사용한다.
• 시각적 비교 결과, 제안된 모델들은 특히 도전적인 텍스처와 에지 영역에서 경쟁 모델보다 더 선명한 에지와 더 적은 아티팩트를 생성한다.
• 블록 신용을 통한 가이드드 진화 알고리즘은 수렴 속도를 가속화하고 무작위 변형 전략보다 더 뛰어난 성능을 보이는 아키텍처를 도출한다.
• 탐색 과정에서 서로 다른 블록 유형의 혼합 배열(예: CRDB와 SRDB의 조합)이 동일한 블록 유형의 순차적 배열보다 뛰어난 성능을 보임을 확인했다.