[논문 리뷰] Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search

Xiangxiang Chu, Bo Zhang외 3명|arXiv (Cornell University)|2019. 01. 22.

Advanced Image Processing Techniques참고 문헌 18인용 수 86

한 줄 요약

이 논문은 FALSR를 소개합니다. 이는 elastic micro/macro 탐색과 하이브리드 RL-EA 생성기를 활용해 Pareto-optimal 모델을 생성하는, 빠르고 정확하며 경량인 이미지 초해상화(Image Super-Resolution)을 위한 다목적 신경망 아키텍처 검색 프레임워크입니다.

ABSTRACT

Deep convolutional neural networks demonstrate impressive results in the super-resolution domain. A series of studies concentrate on improving peak signal noise ratio (PSNR) by using much deeper layers, which are not friendly to constrained resources. Pursuing a trade-off between the restoration capacity and the simplicity of models is still non-trivial. Recent contributions are struggling to manually maximize this balance, while our work achieves the same goal automatically with neural architecture search. Specifically, we handle super-resolution with a multi-objective approach. We also propose an elastic search tactic at both micro and macro level, based on a hybrid controller that profits from evolutionary computation and reinforcement learning. Quantitative experiments help us to draw a conclusion that our generated models dominate most of the state-of-the-art methods with respect to the individual FLOPS.

연구 동기 및 목표

• restoration 품질과 자원 효율성의 균형을 맞춘 SR 모델의 설계를 자동화한다.
• SR 아키텍처를 위한 마이크로/매크로 탐색 공간을 가진 다목적 NAS를 탐구한다.
• 다양한 고성능 모델을 생성하기 위한 하이브리드 컨트롤러(강화학습 + 진화)를 활용한다.
• 주어진 제약 하에서 단일 실행으로 실용적인 SR 모델을 생산한다.

제안 방법

• SR 네트워크를 위한 셀 수준 마이크로 탐색 공간과 intercell 매크로 탐색 공간을 정의한다.
• NSGA-II 내에서 RL 기반 활용과 EA 기반 탐색을 결합한 하이브리드 컨트롤러를 사용해 모델 아키텍처를 생성한다.
• SR을 PSNR, mult-adds, 파라미터 수의 목표를 갖는 제약 다목적 최적화로 다룬다.
• 모델을 두 파트 크로모osome(M_mic, M_mac)으로 인코딩하고 교차/돌연변이 전략으로 진화시킨다.
• 빠른 평가를 위해 불완전 학습으로 수많은 모델을 신속히 평가하고 유망 후보를 전체 학습에 사용한다.
• 동등한 FLOPs 하에서 표준 벤치마크(DIV2K 등)와 비교해 제시된 모델을 기존의 SR 방법과 비교한다.

실험 결과

연구 질문

• RQ1 탄력적 마이크로/매크로 NAS 공간이 유사한 계산 예산 하에서 수동으로 설계된 네트워크를 능가하는 SR 아키텍처를 만들 수 있는가?
• RQ2 하이브리드 RL-EA 컨트롤러가 SR를 위한 다목적 NAS의 탐색-활용 트레이드오프를 개선하는가?
• RQ3 다양한 셀 수준 아키텍처가 조밀/단일 설계에 비해 SR 성능에 어떤 영향을 미치는가?
• RQ4 제약된 FLOPs 및 파라미터 내에서 경량 FALSR 변형이 최첨단 SR 방법과 대등하거나 능가할 수 있는가?

주요 결과

• FALSR-A, FALSR-B, FALSR-C는 표준 벤치마크에서 더 낮거나 동등한 FLOPs 및 파라미터로 경쟁력 있는 PSNR/SSIM을 달성한다.
• 마이크로/매크로 공간에 걸친 탄력적 탐색은 다양한 셀 및 연결 패턴을 형성해 유사 FLOPs 하에서 여러 베이스라인보다 우수한 성능을 보인다.
• 고정된 FLOP 예산에서 FALSR 모델은 종종 CARN, CARN-M, DRRN과 같은 최첨단 방법을 능가하거나 근접하게 접근한다.
• Dense한 상호연결이 항상 최적은 아니며, 자원 제약하에서 다양한 셀을 갖춘 희소하거나 혼합 연결이 더 나은 SR 성능을 낼 수 있다.
• 불완전 학습은 수천 개의 모델을 효율적으로 선별하게 해주며, Pareto 프런트 후보에 대해 전체 학습이 수행된다.
• Pareto 프런트는 PSNR 정확도와 계산 비용 사이의 트레이드오프를 보여주며, FALSR 변형들이 우호적인 영역을 차지한다.