[논문 리뷰] Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

Xintao Wang, Ke Yu외 2명|arXiv (Cornell University)|2018. 04. 09.

Advanced Image Processing Techniques참고 문헌 38인용 수 102

한 줄 요약

Spatial Feature Transform (SFT) 레이어를 도입하여 단일 SR 네트워크를 의미 분할 priors로 조건화하고, 한 번의 순전파에서 현실적이고 클래스 특이적 질감 복원을 가능하게 한다.

ABSTRACT

Despite that convolutional neural networks (CNN) have recently demonstrated high-quality reconstruction for single-image super-resolution (SR), recovering natural and realistic texture remains a challenging problem. In this paper, we show that it is possible to recover textures faithful to semantic classes. In particular, we only need to modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. This is made possible through a novel Spatial Feature Transform (SFT) layer that generates affine transformation parameters for spatial-wise feature modulation. SFT layers can be trained end-to-end together with the SR network using the same loss function. During testing, it accepts an input image of arbitrary size and generates a high-resolution image with just a single forward pass conditioned on the categorical priors. Our final results show that an SR network equipped with SFT can generate more realistic and visually pleasing textures in comparison to state-of-the-art SRGAN and EnhanceNet.

연구 동기 및 목표

• SR에서 현실적 질감을 복원하는 도전을 의미 분할 클래스 priors를 활용해 자극하고 해결한다.
• 공간적으로 SR 특징을 조절하는 매개변수 효율적인 조건화 메커니즘을 개발한다.
• 세그먼테이션 가이드 질감 생성이 기존 SRGAN/EnhanceNet 벤치마크보다 지각적 품질을 향상시킨다는 것을 보여준다.
• 표준 손실을 사용하여 조건부 SFT 레이어와 함께 SR 네트워크를 엔드 투 엔드로 학습 가능하게 한다.

제안 방법

• Spatial Feature Transform (SFT) 레이어를 제안하여 세그먼테이션 확률 맵으로부터 위치별 선형 변환 매개변수(gamma, beta)를 생성한다.
• 단일 SR 네트워크에 SFT 레이어를 삽입하여 중간 계층 전반에 걸친 공간 인지 특징 조절을 수행한다.
• 공유 조건 맵을 생성하는 조건 네트워크를 사용하고 모든 SFT 레이어에 브로드캐스트하여 효율성을 높인다.
• 생성기는 지각적 손실과 GAN 손실로 학습하며, VGG 기반의 지각 손실과 범주 라벨에 조건화된 판별기를 사용한다.
• 세그먼테이션 확률 맵을 우선 정보로 활용한다; 세그먼테이션 네트워크가 LR 업샘플 입력을 처리하여 조건화용 P 맵을 산출한다.
• 세그먼트 맵으로 조건화된 SFT 레이어를 한 번의 순전파로 HR 질감 출력을 생성할 수 있음을 시연한다.

실험 결과

연구 질문

• RQ1 의미 분할 priors가 SR을 가이드하여 의미 클래스에 충실한 질감을 생성할 수 있는가?
• RQ2 공간적으로 조건화된 특징 변환이 기존의 SRGAN/EnhanceNet 접근법에 비해 질감의 사실성을 향상시키는가?
• RQ3 공유 조건화 메커니즘을 통해 SR 네트워크에 공간 priors를 효율적으로 주입하는 것이 가능한가?
• RQ4 SR이 세그먼테이션 맵으로 조건화될 때 다양한 야외 장면 카테고리(예: 하늘, 건물, 풀, 물, 식물, 동물)에서 성능은 어떤가?

주요 결과

• SFT-GAN은 SRGAN 및 EnhanceNet보다 정의된 야외 카테고리에서 더 풍부하고 현실적인 질감을 생성한다(사용자 연구에서).
• 공간 모듈레이션으로 인해 의미 영역 간 경계가 뚜렷하게 보이며 지각적으로 우수한 결과를 얻는다.
• 모듈레이션 매개변수(gamma, beta)는 세그먼테이션 확률 맵과 상관 관계를 보이며 공간 영역 경계를 보존한다.
• 세그먼트 맵으로 조건화된 단일 순전파로 고품질의 HR 질감을 생성할 수 있다.
• qualitatively, 동물 털, 건물 벽돌, 풀이 질감에서基선 대비 더 나은 질감 충실도를 보인다.