[논문 리뷰] Basic Binary Convolution Unit for Binarized Image Restoration Network

Bin Xia, Yulun Zhang외 5명|arXiv (Cornell University)|2022. 10. 02.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 정보 손실, 값 범위 불균형, 활성화 함수 배치와 같은 이진화 신경망에서의 핵심 과제를 해결하기 위해 이진 이미지 복원 네트워크를 위한 기본 이진 컨볼루션 유닛(BBCU)을 제안한다. 체계적 분석과 추론를 통해 BBCU는 잔차 일치 및 최적화된 구성 요소 배치를 통합하여 이미지 초해상도, 노이즈 제거, 블로킹 제거 작업에서 최신 기술 수준의 성능을 달성하며, 계산 및 파라미터 효율성 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

Lighter and faster image restoration (IR) models are crucial for the deployment on resource-limited devices. Binary neural network (BNN), one of the most promising model compression methods, can dramatically reduce the computations and parameters of full-precision convolutional neural networks (CNN). However, there are different properties between BNN and full-precision CNN, and we can hardly use the experience of designing CNN to develop BNN. In this study, we reconsider components in binary convolution, such as residual connection, BatchNorm, activation function, and structure, for IR tasks. We conduct systematic analyses to explain each component's role in binary convolution and discuss the pitfalls. Specifically, we find that residual connection can reduce the information loss caused by binarization; BatchNorm can solve the value range gap between residual connection and binary convolution; The position of the activation function dramatically affects the performance of BNN. Based on our findings and analyses, we design a simple yet efficient basic binary convolution unit (BBCU). Furthermore, we divide IR networks into four parts and specially design variants of BBCU for each part to explore the benefit of binarizing these parts. We conduct experiments on different IR tasks, and our BBCU significantly outperforms other BNNs and lightweight models, which shows that BBCU can serve as a basic unit for binarized IR networks. All codes and models will be released.

연구 동기 및 목표

• 분류와 같은 고수준 비전 작업과는 상당히 다름에도 불구하고 이진 신경망(BNNs)을 저수준 이미지 복원(IR) 작업에 적용하는 데 있어 격차를 해소하기 위해.
• 이진화된 IR 네트워크에서 잔차 연결, 배치 정규화(BatchNorm), 활성화 함수의 역할을 체계적으로 분석하여 핵심적인 함정과 설계 원칙을 규명하기 위해.
• 기존 BNNs와 경량 모델보다 IR 벤치마크에서 뛰어난 성능을 보이며 단순하고 효율적이며 일반적인 기본 이진 컨볼루션 유닛(BBCU)을 개발하기 위해.
• 헤드, 본문, 업샘플링, 尾전 부분에 따라 다른 네트워크 구성 요소에 대해 이진화의 이점을 탐색하기 위해 각각 전용 BBCU 변형을 설계하기 위해.

제안 방법

• 잔차 연결을 이진 컨볼루션과 통합한 기본 이진 컨볼루션 유닛(BBCU)을 제안하며, 잔차와 이진 컨볼루션 출력 간의 값 범위를 일치시키기 위해 증폭 인자를 사용한다.
• BBCU-V2에서 배치 정규화를 제거하고 입력 이미지를 학습 가능한 인자 k로 스케일링하는 잔차 일치(RA) 기법을 도입하여 IR 성능에 악영향을 미치는 BN의 부정적 영향을 방지한다.
• 배치 정규화를 완전히 제거하고 RA를 사용하는 BBCU-V3를 설계하여 표준 데이터셋에서 성능을 0.17–0.29 dB 향상시켰다.
• 활성화 함수를 잔차 경로 내부로 이동시켜 정밀도가 높은 음수 값을 유지하고 특징 표현을 향상시키는 BBCU-V4를 제안한다.
• IR 네트워크를 네 부분(헤드, 본문, 업샘플링, 테일)으로 나누고 각각에 최적화된 BBCU 변형을 설계하여 이진화의 이점을 극대화한다.
• 계산 및 파라미터 절감 정도를 측정하기 위해 $V_C$와 $V_P$ 지표를 도입하여 구성 요소 수준의 이진화 결정을 안내한다.

실험 결과

연구 질문

• RQ1 잔차 연결, 배치 정규화, 활성화 함수의 위치가 이진화된 이미지 복원 네트워크 성능에 미치는 영향는 어떠한가?
• RQ2 분류 작업에서 효과적인 배치 정규화가 왜 이미지 복원 작업에서는 성능을 떨어뜨리는가?
• RQ3 입력 증폭을 통한 잔차 일치가 이진화된 IR 네트워크에서 배치 정규화를 대체하여 성능과 효율성을 향상시킬 수 있는가?
• RQ4 IR 네트워크의 어떤 구성 요소(헤드, 본문, 업샘플링, 테일)가 이진화에서 가장 큰 이점을 얻는가?
• RQ5 이진 컨볼루션 유닛에서 IR 작업에 최적화된 활성화 함수의 최적의 위치와 구조는 무엇인가?

주요 결과

• 배치 정규화를 제거하고 잔차 일치를 적용한 BBCU-V3는 Set5에서 0.17 dB, Urban100에서 0.16 dB, Manga109에서 0.29 dB의 성능 향상을 보이며 BBCU-V1을 능가한다.
• 활성화 함수를 잔차 경로 내부로 이동시킨 BBCU-V4는 전체 정밀도의 음수 값을 유지함으로써 최고의 성능을 달성하며 BBCU-V3를 능가한다.
• 업샘플링 레이어는 가장 높은 이진화 이점을 제공하며, $V_C$는 535.83×10⁻⁶, $V_P$는 500.00×10⁻³ 감소하지만 이전 연구에서 간과되어 왔다.
• 헤드 및 테일 레이어의 이진화는 상대적으로 낮은 이점을 제공하며, 각각 PSNR 감소 폭이 28.58 dB와 27.76 dB로 이에 따른 성능 향상이 제한적임을 시사한다.
• 잔차 일치를 위한 최적의 증폭 인자 $k^*$는 경험적으로 $k^* = 130n/64$로 도출되었으며, 여기서 n은 채널 수이다. 이 값은 이진화 네트워크에서 성능에 민감하게 영향을 미친다.
• BBCU는 이미지 초해상도, 노이즈 제거, 블로킹 제거 작업 전반에서 최신 기술 수준의 성능을 달성하며, 기존 BNNs와 경량 모델을 크게 능가하면서도 높은 효율성을 유지한다.