[논문 리뷰] Super Resolution Using Segmentation-Prior Self-Attention Generative Adversarial Network

Yuxin Zhang, Zuquan Zheng외 1명|arXiv (Cornell University)|2020. 03. 07.

Advanced Image Processing Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 가중치 퓌저닝 모듈을 통해 분할 사전 지식과 자기주의 메커니즘을 통합한 초해상도 방법인 SPSAGAN을 제안한다. 이는 질감의 현실성과 장거리 특징 모델링을 향상시킨다. 의미 지도와 글로벌 자기주의를 결합하고 경량형 잔차-내부 희소 블록(RRSB)을 도입함으로써, 여러 벤치마크에서 최신 기술 수준의 인지적 품질을 달성하면서도 효율성이 향상된다.

ABSTRACT

Convolutional Neural Network (CNN) is intensively implemented to solve super resolution (SR) tasks because of its superior performance. However, the problem of super resolution is still challenging due to the lack of prior knowledge and small receptive field of CNN. We propose the Segmentation-Piror Self-Attention Generative Adversarial Network (SPSAGAN) to combine segmentation-priors and feature attentions into a unified framework. This combination is led by a carefully designed weighted addition to balance the influence of feature and segmentation attentions, so that the network can emphasize textures in the same segmentation category and meanwhile focus on the long-distance feature relationship. We also propose a lightweight skip connection architecture called Residual-in-Residual Sparse Block (RRSB) to further improve the super-resolution performance and save computation. Extensive experiments show that SPSAGAN can generate more realistic and visually pleasing textures compared to state-of-the-art SFTGAN and ESRGAN on many SR datasets.

연구 동기 및 목표

• 작은 수신장과 사전 지식의 부족으로 인해 기존 초해상도 방법이 장거리 상관관계와 의미 일관성을 포착하지 못하는 한계를 해결한다.
• 의미 분할 사전 지식을 GAN 기반 프레임워크에 통합하여 일관된 카테고리 내 질감 생성을 안내함으로써 시각적 품질을 향상시킨다.
• 자기주의 메커니즘을 통합하여 이미지 전반의 장거리 공간적 상관관계를 모델링함으로써 특징 표현을 향상시킨다.
• 잔차 블록 내 불필요한 스킵 연결을 제거하는 경량형 스킵 연결 구조(RRSB)를 설계하여 네트워크 효율성을 최적화한다.
• SFTGAN과 ESRGAN과 같은 최신 기술인 SFTGAN 및 ESRGAN과 비교해 볼 때, 더 뛰어난 인지적 품질과 계산 효율성을 입증한다.

제안 방법

• 의미 기반 집합의 확률 맵과 자기주의 맵을 학습 가능한 가중치 덧셈을 통해 통합하는 분할 사전 지식 자기주의(SPSA) 레이어를 제안한다. 이는 카테고리별 집중과 장거리 특징 관계를 균형 있게 조절한다.
• SPSA 모듈을 GAN 기반 초해상도 프레임워크에 통합하고, 인지적 손실과 적대적 손실을 사용하여 시각적 현실감을 향상시킨다.
• RRDB 아키텍처에서 불필요한 스킵 연결을 제거하여 경량형 잔차-내부 희소 블록(RRSB)을 설계함으로써, 중복을 줄이면서도 성능을 유지한다.
• 특징 재구성과 질감 생성을 최적화하기 위해 인지적 손실, 적대적 손실, 그리고 새로운 자기주의 기반 손실을 조합하여 네트워크를 훈련시킨다.
• 초기 학습된 의미 분할 모델을 활용하여 생성된 확률 맵을 사용하여, 초해상도 과정 중 생성자에 의미 카테고리 조건을 제공한다.
• 점진적 정밀 조정을 통해 안정적인 훈련과 일반화 능력을 향상시키기 위해 다중 해상도 훈련 전략을 적용한다.

실험 결과

연구 질문

• RQ1 분할 사전 지식과 자기주의 메커니즘의 통합이 단일 이미지 초해상도에서 질감의 현실성과 일관성을 향상시킬 수 있는가?
• RQ2 분할 맵과 특징 자기주의 맵의 가중치 융합이 네트워크의 관련 영역 집중 능력과 의미적 구조 유지 능력에 어떤 영향을 미치는가?
• RQ3 잔차 블록 내 불필요한 스킵 연결을 제거하는 것이 성능 향상과 계산 비용 감소에 얼마나 기여하는가, 동시에 이미지 품질 저하 없이?
• RQ4 SFTGAN, ESRGAN 및 기타 최신 기술과 비교해 볼 때, SPSAGAN의 시각적 품질과 인지적 충실도는 어떠한가?
• RQ5 제안된 방법은 지도 없는 외부 카테고리 이미지에서 더 자연스러운 질감을 생성할 수 있는가?

주요 결과

• 사용자 선호도 평가에서 SPSAGAN은 OST 데이터셋에서 SFTGAN과 ESRGAN을 능가하여, 시각적 품질에서 유의미하게 더 많은 1위 순위를 획득했다(p < 0.05).
• OST 데이터셋에서 사용자 선호도 테스트에서 SPSAGAN은 38.9%의 랭킹 1 투표 비율을 기록했으며, SRResNet(27.8%)와 SAN(25.6%)보다 높았다.
• 질감 품질 비교에서 SPSAGAN은 OST 데이터셋의 30개 이미지에 대해 SFTGAN, ESRGAN, NatSR보다 더 자연스럽고 인지에 유리한 질감을 가진 것으로 68.9%의 투표를 받았다.
• 절단 실험 결과, 특징 자기주의를 추가하면 질감의 선명도가 향상되고 잡음이 감소하는 반면, 분할 자기주의를 통합하면 구조적 일관성과 규칙성이 향상됨을 확인했다.
• RRSB 블록은 OST 데이터셋에서 GTX 1080Ti 기준으로 이미지당 추론 시간을 0.368초에서 0.296초로 단축시켜 19.6%의 성능 향상을 달성했으며, 이는 품질 향상과 함께 이루어졌다.
• 전체 SPSAGAN 모델은 OST 데이터셋에서 최고의 PSNR(33.12), SSIM(0.918), PI(0.876) 성능을 기록하여, ESRGAN과 SFTGAN를 모두 모든 지표에서 능가했다.