[논문 리뷰] Exploring Multi-Scale Feature Propagation and Communication for Image Super Resolution

Ruicheng Feng, Weipeng Guan외 2명|arXiv (Cornell University)|2020. 08. 01.

Advanced Image Processing Techniques참고 문헌 12인용 수 12

한 줄 요약

이 논문은 다중 척도 특징 전파와 크로스 스케일 커뮤니케이션을 가능하게 하여 이미지 초해상도를 향상시키는 MS³-Conv라는 다중 척도 컨벌루션 유닛을 제안한다. 표준 컨벌루션 대비 75% 적은 파라미터와 67% 적은 계산량을 사용하면서도 뛰어난 성능을 달성하며, 격자나 줄무늬와 같은 고주파 수준의 세부 정보 복원에서 특히 뛰어나다.

ABSTRACT

Multi-scale techniques have achieved great success in a wide range of computer vision tasks. However, while this technique is incorporated in existing works, there still lacks a comprehensive investigation on variants of multi-scale convolution in image super resolution. In this work, we present a unified formulation over widely-used multi-scale structures. With this framework, we systematically explore the two factors of multi-scale convolution -- feature propagation and cross-scale communication. Based on the investigation, we propose a generic and efficient multi-scale convolution unit -- Multi-Scale cross-Scale Share-weights convolution (MS$^3$-Conv). Extensive experiments demonstrate that the proposed MS$^3$-Conv can achieve better SR performance than the standard convolution with less parameters and computational cost. Beyond quantitative analysis, we comprehensively study the visual quality, which shows that MS$^3$-Conv behave better to recover high-frequency details.

연구 동기 및 목표

• 이미지 초해상도에서 다중 척도 컨벌루션의 역할을 체계적으로 조사하며, 특징 전파와 크로스 스케일 커뮤니케이션에 집중한다.
• 기존 초해상도 방법에서 다중 척도 구조에 대한 종합적 분석의 부족을 해결한다.
• 정확도와 효율성 측면에서 표준 컨벌루션을 능가하는 일반화 가능하고 효율적이며 즉시 사용 가능한 다중 척도 컨벌루션 유닛을 설계한다.
• PSNR를 넘어서 시각적 품질을 평가하며, 특히 미세한 무늬와 고주파 패턴 복원 능력을 중점으로 한다.
• 다중 척도 네트워크가 단일 척도 기반 모델과 유사한 PSNR 값을 기록함에도 불구하고 더 뛰어난 지각적 품질을 달성할 수 있음을 입증한다.

제안 방법

• 공유 전환 함수를 통해 U-Net, 옥타브, 멀티그리드 컨벌루션을 포함하는 다중 척도 컨벌루션 구조의 통합적 수식을 제안한다.
• 점진적 설계: 기본 다중 척도 컨벌루션(MS-Conv)에서 시작하여 이방향 크로스 스케일 연결을 추가(MS²-Conv), 마지막으로 공유 가중치와 작은 필터를 적용(MS³-Conv).
• 고주파 및 저주파 필터 간에 공유 가중치를 사용하여 파라미터 수를 줄이면서도 성능를 유지한다.
• 다중 분기 아키텍처를 사용하여 특징을 다중 척도에서 처리하고, 전용 크로스 스케일 필터를 통해 스케일 간 정보를 교환한다.
• SRResNet 및 CARN과 같은 최신 네트워크에 MS³-Conv 유닛을 플러그인 방식으로 통합하여 직접 비교 가능하게 한다.
• 다양한 데이터셋과 스케일 인자에서 추론 실험 및 시각적 비교를 통해 설계 선택의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 특징 전파와 크로스 스케일 커뮤니케이션이 초해상도에서 다중 척도 컨벌루션 성능에 어떤 영향을 미치는가?
• RQ2 U-Net, 옥타브, 멀티그리드 컨벌루션과 같은 다양한 다중 척도 컨벌루션 아키텍처를 통합할 수 있는 프레임워크가 가능한가?
• RQ3 다중 척도 초해상도 네트워크에서 모델 효율성(파라미터 수 및 FLOPs)과 성능 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 다중 척도 네트워크는 단일 척도 기반 모델과 비교해 고주파 무늬(예: 격자, 줄무늬) 복원에서 어떻게 시각적 품질이 뛰어나게 되는가?
• RQ5 초해상도 결과에서 PSNR 값이 지각적 이미지 품질과 얼마나 관련이 깊은가?

주요 결과

• MS³-Conv는 DIV2K에서 0.45M 파라미터와 15.06G FLOPs로 32.02의 PSNR를 기록하며, 유사한 PSNR를 기록함에도 불구하고 시각적 품질에서 표준 컨벌루션 기반 모델을 능가한다.
• 표준 컨벌루션 기반 모델 대비 MS³-Conv 변형은 계산 비용을 67% 감소시키고 파라미터 수를 75% 줄였지만 경쟁력 있는 PSNR를 유지한다.
• DIV2K 데이터셋에서 CARN에 적용했을 때 MS³-Conv는 1.03M 파라미터로 32.14의 PSNR를 기록하며 원본 CARN 모델보다 시각적 세부 정보 복원 능력에서 뛰어나다.
• 시각적 비교 결과, MS³-Conv는 랜드스케이프나 제브라 무늬와 같은 고주파 구조를 일관되게 복원하는 반면, 표준 컨벌루션은 잘못된 또는 흐릿한 패턴을 생성한다.
• 평탄한 영역(예: 이미지 0830)에서 PSNR가 3.4 dB 감소하더라도 MS³-Conv 출력은 기준 모델과 지각적으로 구분되지 않으며, 이는 PSNR가 항상 시각적 품질의 신뢰할 수 있는 지표가 아님을 시사한다.
• 낮은 스케일 인자(0.5)에서 표준 컨벌루션은 앨리어징과 구조 손실를 보이지만, MS³-Conv는 패턴을 유지하여 스케일 변화에 대한 강건성을 입증한다.