[논문 리뷰] Image Super-Resolution Using VDSR-ResNeXt and SRCGAN

Saifuddin Hitawala, Yao Li외 2명|arXiv (Cornell University)|2018. 10. 10.

Advanced Image Processing Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 두 가지 딥러닝 기반 이미지 슈퍼레졸루션 방법을 제안한다: VDSR-ResNeXt는 VDSR와 ResNeXt 아키텍처를 결합한 잔차형, 다중 브랜치 컨볼루션 네트워크로, 더 나은 파rameter 효율성과 성능을 달성한다. SRCGAN은 클래스 레이블을 사용해 고해상도 이미지를 생성하는 조건부 GAN이다. VDSR-ResNeXt 모델은 표준 VDSR 대비 파라미터를 30% 감소시켰지만 경쟁력 있는 PSNR를 유지하며, MNIST에서 바닐라 GAN보다 이미지 선명도와 분류기 정확도를 크게 향상시켜 생성된 이미지에서 81.26%의 숫자 인식 정확도를 달성한다.

ABSTRACT

Over the past decade, many Super Resolution techniques have been developed using deep learning. Among those, generative adversarial networks (GAN) and very deep convolutional networks (VDSR) have shown promising results in terms of HR image quality and computational speed. In this paper, we propose two approaches based on these two algorithms: VDSR-ResNeXt, which is a deep multi-branch convolutional network inspired by VDSR and ResNeXt; and SRCGAN, which is a conditional GAN that explicitly passes class labels as input to the GAN. The two methods were implemented on common SR benchmark datasets for both quantitative and qualitative assessment.

연구 동기 및 목표

• VDSR의 잔차 학습 방식과 ResNeXt의 다중 브랜치, 그룹화된 컨볼루션 설계를 융합하여 이미지 슈퍼레졸루션 성능을 향상시키고자 한다.
• 생성자에 클래스 레이블을 입력으로 제공하는 조건부 GAN의 효과를 탐색하여 슈퍼레졸루션에서의 성능 향상을 도모하고자 한다.
• 정량적 지표(PSNR, SSIM)와 정성적 시각적 평가를 통해 기준 데이터셋에서 두 모델의 성능을 평가하고자 한다.
• 조건부 감독이 재구성된 고해상도 이미지의 현실감과 식별 가능성에 미치는 영향을 조사하고자 한다.
• 그룹화된 컨볼루션, 잔차 블록, 학습 초모수 등의 아키텍처 선택이 모델 성능에 미치는 영향을 분석하고자 한다.

제안 방법

• VDSR-ResNeXt는 ResNeXt를 영감으로 삼은 다중 브랜치 잔차 블록 설계를 사용하며, 각 블록은 32개의 그룹화된 컨볼루션 브랜치로 구성되며, 입력 채널의 부분 집합을 처리한 후 합산된다.
• 모델은 파라미터 수를 줄이면서도 표현 능력을 유지하기 위해 그룹화된 컨볼루션을 활용한 분할-변환-병합 전략을 적용한다.
• 손실 함수는 평균 제곱오차이며, 식은 $ \frac{1}{2}||\mathbf{y} - f(\mathbf{x})||^2 $ 이다. 여기서 $ f(\mathbf{x}) $는 예측된 고해상도 이미지이고, $ \mathbf{y} $는 진짜 값이다.
• SRCGAN은 저해상도 이미지와 클래스 레이블(예: 숫자 식별자)을 생성자에 동시에 입력으로 제공하는 조건부 GAN으로, 재구성 정밀도를 향상시킨다.
• SRCGAN의 판별자는 동일한 레이블 조건에서 진짜 고해상도 이미지와 생성된 고해상도 이미지를 구분하도록 훈련된다.
• 학습에는 Adam 옵티마이저를 사용하며 배치 크기는 128, 학습률은 0.001로 생성자와 판별자 모두 동일하게 설정하였고, SRCGAN은 100 에포크, 분류기는 70 에포크를 훈련하였다.

실험 결과

연구 질문

• RQ1 ResNeXt의 다중 브랜치 및 그룹화된 컨볼루션 아키텍처가 VDSR 프레임워크의 성능과 파라미터 효율성에 기여하는가?
• RQ2 GAN 프레임워크에 클래스 레이블을 조건부 입력으로 통합함으로써, 무조건적 GAN에 비해 더 선명하고 의미적으로 정확한 고해상도 이미지 재구성 결과를 도출할 수 있는가?
• RQ3 다양한 스케일 팩터에서 원본 VDSR 및 바닐라 GAN과 비교해 볼 때, 제안된 모델의 PSNR, SSIM 및 시각적 품질은 어떠한가?
• RQ4 조건부 감독이 생성된 이미지의 식별 가능성에 얼마나 기여하는가? 이를 다운스트림 분류 정확도로 측정할 수 있는가?
• RQ5 훈련 기간, 학습률 스케줄링, 데이터 분포가 제안된 모델의 성능에 미치는 영향은 어떠한가?

주요 결과

• 18층, 256 필터를 가진 VDSR-ResNeXt는 스케일 팩터 2에서 Set5 데이터셋에서 PSNR 32.15 dB를 기록했으며, 원본 VDSR와 유사한 성능을 유지하면서 파라미터를 약 30% 감소시켰다.
• VDSR-ResNeXt는 64→256→64 블록 구성에서 32개의 그룹화된 컨볼루션 브랜치를 사용함으로써 파라미터 수를 약 ~885K에서 ~313K로 감소시켰다.
• SRCGAN은 MNIST 데이터셋에서 생성된 이미지에 대해 81.26%의 숫자 분류 정확도를 달성했으며, 바닐라 GAN의 68.11%보다 뚜렷하게 높았다.
• 정성적 결과에서는 SRCGAN이 바닐라 GAN의 흐릿한 출력에 비해 더 선명하고 식별 가능한 숫자를 생성하는 것으로 나타났다. 특히 스케일 팩터 4에서 두드러졌다.
• SRCGAN의 생성자 및 판별자 손실 값은 100 에포크 동안 안정적으로 수렴했으며, 조건부 감독 하에 효과적인 적대적 훈련이 이루어졌음을 시사한다.
• 저자들은 스케일 팩터가 증가할수록 성능이 VDSR에 비해 뒤처지는 경향을 관찰했으며, 이는 고확대 비율에서 더 많은 데이터가 필요할 수 있음을 시사한다.