[논문 리뷰] A Matrix-in-matrix Neural Network for Image Super Resolution

Hailong Ma, Xiangxiang Chu외 3명|arXiv (Cornell University)|2019. 03. 19.

Advanced Image Processing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 경량의 매트릭스-인-매트릭스 신경망인 MCAN을 제안한다. 이는 다중 연결 채널 주의 블록(MCAB)을 사용하여 중간 특징을 계층적으로 활용한다. 이 방법은 CARN 및 FALSR와 같은 이전 모델들보다 훨씬 적은 파라미터 수와 곱셈-덧셈 연산 수를 사용하면서도 최신 기준 PSNR 성능을 달성하며, MCAN-FAST라는 빠른 시그모이드 변형을 통해 모바일 장치에서도 효율적인 성능을 유지를 한다.

ABSTRACT

In recent years, deep learning methods have achieved impressive results with higher peak signal-to-noise ratio in single image super-resolution (SISR) tasks by utilizing deeper layers. However, their application is quite limited since they require high computing power. In addition, most of the existing methods rarely take full advantage of the intermediate features which are helpful for restoration. To address these issues, we propose a moderate-size SISR net work named matrixed channel attention network (MCAN) by constructing a matrix ensemble of multi-connected channel attention blocks (MCAB). Several models of different sizes are released to meet various practical requirements. Conclusions can be drawn from our extensive benchmark experiments that the proposed models achieve better performance with much fewer multiply-adds and parameters. Our models will be made publicly available.

연구 동기 및 목표

• 깊이 있는 초해상도 네트워크의 높은 계산 비용을 해결하기 위해 경량 아키텍처를 설계한다.
• 중간 레이어에서의 특징 활용을 향상시켜 이미지 복원 품질을 향상시킨다.
• 기존의 경량 모델들보다 더 높은 PSNR 성능을 달성하면서도 모델 크기와 FLOPs를 줄인다.
• 고정점 유닛을 고려해 시그모이드 활성화 함수를 최적화하여 모바일 장치에서의 효율적 배포를 가능하게 한다.
• 다양한 응용 요구사항을 충족시키기 위해 MCAN-M, MCAN-S, MCAN-T와 같은 여러 모델 버전을 제공한다.

제안 방법

• 각 활성화 후 잔차 연결을 추가함으로써 다중 깊이 및 폭에 걸쳐 계층적인 특징 흐름을 가능하게 하는 다중 연결 채널 주의 블록(MCAB)을 제안한다.
• 스택된 MCAB를 사용해 매트릭스-인-매트릭스(MIM) 구조를 구성함으로써 깊고 넓은 정보 전파를 통해 특징 학습을 향상시키는 비선형 매핑 모듈을 형성한다.
• 저해상도 특징을 MIM 출력과 융합하여 저해상도 공간의 계층적 특징을 더 효과적으로 활용하는 엣지 특징 융합(EDGE FEATURE FUSION, EFF) 블록을 도입한다.
• 표준 시그모이드 함수를 대체하기 위해 빠른 시그모이드 함수(f_fast(x) = x / (1 + |x|))를 설계하여 모바일 DSP에서의 계산 비용을 감소시키되 정확도 손실을 최소화한다.
• 표준 초해상도 손실 함수를 사용하고 데이터 증강을 적용하여 벤치마크 데이터셋에서 PSNR 최적화를 위한 네트워크를 훈련 및 튜닝한다.
• 필터 수와 그룹 컨볼루션을 조정하여 다양한 효율성과 정확도의 균형을 확보함으로써 MCAN-M, MCAN-S, MCAN-T 세 가지 모델 버전을 공개한다.

실험 결과

연구 질문

• RQ1 경량 초해상도 네트워크가 더 적은 파라미터 수와 곱셈-덧셈 연산 수로 최신 기준 PSNR 성능을 달성할 수 있는가?
• RQ2 매트릭스-인-매트릭스(MIM) 구조가 계층적 연결을 통해 특징 표현을 얼마나 효과적으로 향상시키는가?
• RQ3 엣지 특징 융합(EFF) 블록이 저해상도 특징을 중간 특징과 융합함으로써 성능 향상에 얼마나 기여하는가?
• RQ4 표준 시그모이드 함수를 빠른 시그모이드 변형으로 대체할 경우, 정확도 손실 없이 모바일 장치에서 추론 속도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 모델들은 CARN, FALSR, LapSRN과 같은 기존 최신 기준 모델들과 비교해 다양한 모델 크기에서 성능와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• MCAN-M는 CARN-M보다 PSNR 성능이 뛰어나면서도 곱셈-덧셈 연산 수와 파라미터 수를 약 절반으로 줄였다.
• MCAN-S는 ×2 작업에서 LapSRN보다 평균 0.5 dB, ×4 작업에서 0.4 dB 높은 PSNR 성능을 기록했으며, 모델 크기는 절반 수준이었다.
• MCAN-T는 동일한 곱셈-덧셈 연산 수에서 FSRCNN을 모든 작업에서 능가하여 실시간 응용에 매우 효율적임을 입증했다.
• 제거 실험 결과, MIM 구조가 PSNR를 0.81 dB 향상시켰으며(29.44 → 30.25 dB), EFF를 추가하면 PSNR가 30.28 dB로 더 향상됨을 확인했다.
• MCAN-FAST는 MCAN과 거의 동일한 PSNR 성능를 유지하면서도 고정점 유닛을 탑재한 모바일 장치에서 추론 비용을 크게 감소시켰다.
• 전체 MCAN 패밀리 모델들은 MoreMNAS-A 및 FALSR-A를 포함한 모든 기록된 최신 기준 모델들을 동일하거나 더 큰 FLOP 예산에서 능가하여 가벼운 모델 영역에서 새로운 최신 기준을 수립했다.