[논문 리뷰] AdderSR: Towards Energy Efficient Image Super-Resolution

Dehua Song, Yunhe Wang외 4명|arXiv (Cornell University)|2020. 09. 18.

Advanced Image Processing Techniques참고 문헌 40인용 수 8

한 줄 요약

이 논문은 에너지 효율적인 이미지 슈퍼레졸루션 프레임워크인 AdderSR을 제안한다. 기존의 컨볼루션 레이어를 덧셈 기반 네트워크로 대체하여 에너지 소비를 극적으로 감소시킨다. 잔차 연결과 학습 가능한 파wr 활성화 함수를 도입함으로써 AdderSR은 덧셈 기반 네트워크가 일치 맵핑과 고역통과 필터링을 학습하는 데서 나타나는 한계를 극복하며, CNN 기반 기준 모델과 비교해 PSNR 성능을 유사하게 유지하면서도 표준 벤치마크에서 에너지 소비를 약 2.5배 감소시킨다.

ABSTRACT

This paper studies the single image super-resolution problem using adder neural networks (AdderNet). Compared with convolutional neural networks, AdderNet utilizing additions to calculate the output features thus avoid massive energy consumptions of conventional multiplications. However, it is very hard to directly inherit the existing success of AdderNet on large-scale image classification to the image super-resolution task due to the different calculation paradigm. Specifically, the adder operation cannot easily learn the identity mapping, which is essential for image processing tasks. In addition, the functionality of high-pass filters cannot be ensured by AdderNet. To this end, we thoroughly analyze the relationship between an adder operation and the identity mapping and insert shortcuts to enhance the performance of SR models using adder networks. Then, we develop a learnable power activation for adjusting the feature distribution and refining details. Experiments conducted on several benchmark models and datasets demonstrate that, our image super-resolution models using AdderNet can achieve comparable performance and visual quality to that of their CNN baselines with an about 2$ imes$ reduction on the energy consumption.

연구 동기 및 목표

• 모바일 디바이스에서 단일 이미지 슈퍼레졸루션(SISR)에 사용되는 딥 컨볼루션 신경망(CNNs)의 높은 에너지 소비 문제를 해결하기 위해.
• 곱셈 대신 덧셈을 사용하는 덧셈 신경망(AdderNets)을 SISR 작업에 적응시켜, 기존에 일치 맵핑과 고역통과 필터 근사화 성능이 떨어지는 이유를 해결하기 위해.
• AdderNets가 고화질의 시각적 품질과 성능을 유지하면서도 CNN 기반 기준 모델과 동등한 성능을 내도록 할 수 있는 아키텍처적 수정 사항을 개발하기 위해.
• 실제 모바일 애플리케이션 환경에서 재구성 품질을 희생시키지 않고도 상당한 에너지 절감 효과를 입증하기 위해.

제안 방법

• 이미지 복원 작업에서 핵심적인 역할을 하는 일치 맵핑을 학습하는 데 도움이 되는 잔차 연결(자기 연결)을 도입한다.
• 특징 분포를 정교화하고 세부 사항 복구 능력을 향상시켜 고역통과 필터링 행동을 개선하기 위해 학습 가능한 파wr 활성화 함수를 제안한다.
• 원래 네트워크 아키텍처를 유지하면서 SISR 모델(예: EDSR, CARN)의 모든 컨볼루션 레이어를 덧셈 필터로 대체한다.
• 가중치와 활성화에 32비트 부동소수점 정밀도를 사용하며, 에너지 비용을 1회 덧셈당 0.9 pJ, 1회 곱셈당 3.7 pJ로 모델링한다.
• AdderNets와 함께 필터 프루닝 및 가중치/활성화 정수화(예: int8)를 적용하여 에너지 소비를 추가로 감소시킨다.
• PSNR 및 시각적 품질 메트릭을 사용하여 표준 SISR 벤치마크(예: Urban100, DIV80)에서 AdderSR 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 덧셈 기반 네트워크가 성능 저하 없이 이미지 슈퍼레졸루션에서 컨볼루션 레이어를 효과적으로 대체할 수 있는가?
• RQ2 기본적인 AdderNets가 SISR에서 왜 일치 맵핑과 고역통과 필터링을 잘 학습하지 못하는가? 이러한 한계는 어떻게 보완할 수 있는가?
• RQ3 곱셈을 덧셈으로 대체함으로써 SISR 모델의 에너지 소비를 얼마나 줄일 수 있는가?
• RQ4 제안된 수정 사항(잔차 연결 및 학습 가능한 활성화 함수)이 AdderNets가 CNN 기반 SISR 모델의 PSNR 및 시각적 품질을 따라잡을 수 있도록 하는가?
• RQ5 모바일 플랫폼에서 AdderSR의 에너지-성능 트레이드오���은 최신 기술 기준 SISR 모델과 비교해 어떻게 나타나는가?

주요 결과

• AdderSR은 Urban100 데이터셋에서 ×2, ×3, ×4 슈퍼레졸루션 작업 모두에서 CNN 기반 모델과 0.2 dB 이내의 PSNR 성능을 달성한다.
• 1280×720 이미지를 처리할 때, 동등한 CNN 기반 SISR 모델 대비 AdderSR 모델은 에너지 소비를 약 2.5배 감소시킨다.
• int8 정수화를 적용하면 에너지 절감 비율이 약 3.8배로 증가하며, 성능은 유사하게 유지된다.
• A-CARN(AdderNet 기반 CARN)은 31.74 dB의 PSNR를 기록했으며, 유사한 에너지 비용(404G pJ)을 가지는 프루닝된 CARN-2/3(31.35 dB)보다 뛰어난 성능을 보였다.
• 1280×720 이미지의 에너지 비용은 EDSR-CNN의 42.5T pJ에서 EDSR-ANN로 16.7T pJ로 감소하여 약 2.5배의 절감 효과를 보였다.
• 시각적 품질 평가 결과, AdderSR 출력물은 CNN 기반 기준 모델과 시각적으로 구분되지 않으며, 세부 사항 복구 능력은 향상되고 블러 현상은 감소함을 확인했다.