[논문 리뷰] Efficient Super Resolution Using Binarized Neural Network

Yinglan Ma, Hongyu Xiong외 2명|arXiv (Cornell University)|2018. 12. 16.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 초해상도(SR) 네트워크를 위한 새로운 이진화 전략을 제안하며, 잔차 블록에만 이진 가중치를 적용하고 학습 가능한 스케일링 인자를 사용함으로써 최대 80%의 모델 크기 감소와 최소한의 이미지 품질 손실로 5배의 추론 속도 향상을 달성한다. 이 방법은 핵심 구성 요소를 선택적으로 이진화함으로써 픽셀 수준의 정확성을 유지하며, 최신 SR 모델을 모바일 및 엣지 디바이스에 효율적으로 구현할 수 있도록 한다.

ABSTRACT

Deep convolutional neural networks (DCNNs) have recently demonstrated high-quality results in single-image super-resolution (SR). DCNNs often suffer from over-parametrization and large amounts of redundancy, which results in inefficient inference and high memory usage, preventing massive applications on mobile devices. As a way to significantly reduce model size and computation time, binarized neural network has only been shown to excel on semantic-level tasks such as image classification and recognition. However, little effort of network quantization has been spent on image enhancement tasks like SR, as network quantization is usually assumed to sacrifice pixel-level accuracy. In this work, we explore an network-binarization approach for SR tasks without sacrificing much reconstruction accuracy. To achieve this, we binarize the convolutional filters in only residual blocks, and adopt a learnable weight for each binary filter. We evaluate this idea on several state-of-the-art DCNN-based architectures, and show that binarized SR networks achieve comparable qualitative and quantitative results as their real-weight counterparts. Moreover, the proposed binarized strategy could help reduce model size by 80% when applying on SRResNet, and could potentially speed up inference by 5 times.

연구 동기 및 목표

• 단일 이미지 초해상도(SR) 작업에서 깊이 학습된 합성곱 신경망(DCnn)의 비효율성과 높은 메모리 사용 문제를 해결하기 위해.
• 이미지 분류와 같은 의미적 작업에서 효과적이었던 네트워크 이진화가, 정확도 손실 없이 픽셀 수준의 이미지 향상 작업인 SR에 적용 가능한지 조사하기 위해.
• 잔차 블록에만 초점을 맞추고 학습 가능한 스케일링 인자를 도입함으로써 고주파 성분 복원을 유지하는 선택적 이진화 전략을 설계하기 위해.
• 모델 크기와 계산 비용을 줄여 고성능 SR 모델을 모바일 및 엣지 디바이스에 실용적으로 구현하기 위해.

제안 방법

• 전체 네트워크가 아닌 잔차 블록 내의 합성곱 필터에만 이진화를 적용하여 성능를 유지하면서도 복잡성을 줄이기 위해.
• 각 이진 필터에 대해 학습 가능한 스칼라 가중치를 도입하여 표현 능력을 유지하고 정확도 손실를 완화하기 위해.
• 일반화 능력을 평가하기 위해 최신 SR 아키텍처인 SRResNet, SRGAN, LapSRN에 이중화 전략을 적용하기 위해.
• 추론 시 부동소수점 곱셈 대신 비트 연산을 사용하여 계산 비용을 크게 감소시키기 위해.
• 기울기 통계와 잔차 블록 구조를 활용하여 선택적 이진화 접근법의 타당성을 입증하고, 고주파 성분 복원에 가장 관련성이 높은 구성 요소에 집중하기 위해.
• 표준 벤치마크(Set5, Set14)를 사용한 정량적 평가와 사용자 연구를 통해 이진화된 모델과 실수 가중치 모델 간의 성능를 비교하기 위해.

실험 결과

연구 질문

• RQ1 정확도 손실 없이 네트워크 이진화를 픽셀 수준의 이미지 복원 작업인 초해상도에 효과적으로 적용할 수 있는가?
• RQ2 전체 네트워크가 아닌 잔차 블록만 이진화함으로써 초해상도 네트워크에서 상당한 모델 압축과 속도 향상을 달성할 수 있는가?
• RQ3 각 이진 필터에 대해 학습 가능한 스케일링 인자를 도입할 경우, 이진화된 SR 모델의 복원 품질에 어떤 영향을 미치는가?
• RQ4 이진화된 SR 네트워크가 실수 정밀도 모델과 비교해 얼마나 높은 수준의 정성적 및 정량적 성능를 유지할 수 있는가?

주요 결과

• 제안된 이진화 전략은 SRResNet에 적용되었을 때 최대 80%의 모델 크기 감소를 이끌어내어 저장 효율성을 크게 향상시켰다.
• SRResNet(2x) 모델에서 부동소수점 곱셈을 비트 연산으로 대체함으로써 추론 속도가 최대 5배 향상되었다.
• 사용자 연구 결과, 이진화된 모델과 실수 가중치 모델 간의 정성적 품질에 유의미한 차이가 없었으며, 2× 및 4× 초해상도 작업에서 50–60%의 사용자가 이진화 결과를 선호했다.
• PSNR 및 SSIM과 같은 정량적 지표는 이진화된 모델과 정밀도가 높은 모델 간에 유사하게 유지되어 정확도 손실가 최소화되었음을 확인했다.
• SRResNet, SRGAN, LapSRN 등 다양한 아키텍처에서 뛰어난 성능를 유지하여 일반화 가능성 잠재력을 입증했다.
• 잔차 블록의 이진화만으로도 고주파 성분을 효과적으로 유지할 수 있었으며, 기울기 히스토GRAM 분석과 다양한 확대 비율에서의 성능 안정성으로 이를 뒷받침했다.