[논문 리뷰] PAMS: Quantized Super-Resolution via Parameterized Max Scale

Huixia Li, Chenqian Yan외 6명|arXiv (Cornell University)|2020. 11. 09.

Advanced Image Processing Techniques참고 문헌 43인용 수 11

한 줄 요약

이 논문은 배치 정규화가 없는 초해상도 네트워크를 위한 새로운 양자화 기법인 PAMS를 제안한다. PAMS는 학습 가능한 매개변수화된 최대 스케일을 사용하여 양자화 범위를 적응적으로 설정함으로써, 큰 동적 범위로 인한 오차를 감소시킨다. PAMS를 구조적 지식 전이와 결합함으로써, Set5에서 32.124 dB PSNR를 기록하며 2.42배의 압축을 달성하여, 전체 정밀도 기준선을 초월하는 최신 기술 수준의 8비트 성능을 달성한다.

ABSTRACT

Deep convolutional neural networks (DCNNs) have shown dominant performance in the task of super-resolution (SR). However, their heavy memory cost and computation overhead significantly restrict their practical deployments on resource-limited devices, which mainly arise from the floating-point storage and operations between weights and activations. Although previous endeavors mainly resort to fixed-point operations, quantizing both weights and activations with fixed coding lengths may cause significant performance drop, especially on low bits. Specifically, most state-of-the-art SR models without batch normalization have a large dynamic quantization range, which also serves as another cause of performance drop. To address these two issues, we propose a new quantization scheme termed PArameterized Max Scale (PAMS), which applies the trainable truncated parameter to explore the upper bound of the quantization range adaptively. Finally, a structured knowledge transfer (SKT) loss is introduced to fine-tune the quantized network. Extensive experiments demonstrate that the proposed PAMS scheme can well compress and accelerate the existing SR models such as EDSR and RDN. Notably, 8-bit PAMS-EDSR improves PSNR on Set5 benchmark from 32.095dB to 32.124dB with 2.42$ imes$ compression ratio, which achieves a new state-of-the-art.

연구 동기 및 목표

• 배치 정규화가 없는 초해상도 모델의 저비트 양자화에서 성능 저하 문제를 해결하기 위해.
• 활성화 및 가중치의 큰 동적 범위로 인한 양자화 오차를 줄이기 위해.
• 자원 제한된 장치에 고성능 SR 모델을 효율적으로 구현하기 위해 모델 압축을 가능하게 하기 위해.
• 전체 정밀도 네트워크로부터의 구조적 지식 전이를 통해 양자화 모델의 성능을 향상시키기 위해.
• 고정 또는 히우리스틱 스케일링 방법보다 뛰어난 성능을 보이는 학습 가능한 적응형 양자화 범위를 개발하기 위해.

제안 방법

• 학습 가능한 잘라내기 매개변수 α를 가진 매개변수화된 최대 스케일(PAMS)을 도입하여 활성화 양자화의 상한을 동적으로 조정한다.
• EDSR 및 RDN 아키텍처의 잔차 블록에 대해 가중치와 활성화 모두에 PAMS를 적용하여 대칭 양자화를 가능하게 한다.
• α를 사용하는 미분 가능한 클램프 함수를 활용하여 양자화 이전에 활성화를 제약함으로써 기울기 기반 최적화를 허용한다.
• 완전 정밀도 및 양자화된 네트워크 간의 특징 맵을 정렬하기 위해 구조적 지식 전이(SKT) 손실을 사용한다.
• 수렴성과 안정성을 향상시키기 위해 활성화 통계의 지수 이동 평균(EMA)을 사용해 α를 초기화한다.
• 표현 능력 복구와 양자화 오차 감소를 위해 SKT 손실을 사용해 양자화된 네트워크를 미세조정한다.

실험 결과

연구 질문

• RQ1 학습 가능한 적응형 양자화 범위는 배치 정규화가 없는 저비트 초해상도 네트워크에서 성능 저하를 줄일 수 있는가?
• RQ2 PAMS는 고정 최대값 또는 PACT 방식의 양자화와 비교해 PSNR와 시각적 품질 측면에서 어떻게 성능을 내는가?
• RQ3 구조적 지식 전이가 저비트에서 특히 중요한 저비트 성능 향상에 얼마나 기여하는가?
• RQ4 α의 EMA 기반 초기화는 무작위 초기화보다 수렴성과 성능을 향상시키는가?
• RQ5 PAMS는 고압축과 고속도를 유지하면서 8비트 양자화 초해상도에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PAMS-EDSR는 8비트 정밀도에서 Set5에서 32.124 dB PSNR를 기록하여 원본 전체 정밀도 EDSR(32.095 dB)를 초월하며 새로운 SOTA를 수립한다.
• 8비트 PAMS-EDSR 모델은 정확도 저하를 최소화하면서 2.42배의 모델 압축 비율을 달성한다.
• SKT 손실을 적용한 PAMS-EDSR는 4비트 정밀도에서 Urban100에서 PSNR를 0.071 dB 향상시켜 저비트 성능이 뛰어나다는 것을 입증한다.
• EMA를 통한 α 초기화는 모든 데이터셋과 비트 폭에서 무작위 초기화보다 더 우수한 수렴성과 성능을 보였다.
• SKT 손실은 저비트에서 더 큰 성능 향상을 제공하며(예: 4비트에서 Urban100에서 0.071 dB), 저정밀도 모델에 대한 지식 전이의 효과성을 시사한다.
• PAMS는 TensorFlow Lite의 고정 최대값 양자화 및 PACT보다 PSNR와 시각적 품질 모두에서 뛰어나며, 더 선명한 질감과 더 적은 잡음 요소를 생성한다.