[논문 리뷰] Cross-Scale Internal Graph Neural Network for Image Super-Resolution

Shangchen Zhou, Jiawei Zhang외 2명|arXiv (Cornell University)|2020. 06. 30.

Advanced Image Processing Techniques참고 문헌 46인용 수 116

한 줄 요약

본 논문은 IGNN이라는 크로스-스케일 내부 그래프 신경망을 소개하며, 크로스-스케일 패치 재발생을 활용해 HR 신호를 LR 패치로 전달하여 단일 이미지 초해상도(SISR)를 개선한다.

ABSTRACT

Non-local self-similarity in natural images has been well studied as an effective prior in image restoration. However, for single image super-resolution (SISR), most existing deep non-local methods (e.g., non-local neural networks) only exploit similar patches within the same scale of the low-resolution (LR) input image. Consequently, the restoration is limited to using the same-scale information while neglecting potential high-resolution (HR) cues from other scales. In this paper, we explore the cross-scale patch recurrence property of a natural image, i.e., similar patches tend to recur many times across different scales. This is achieved using a novel cross-scale internal graph neural network (IGNN). Specifically, we dynamically construct a cross-scale graph by searching k-nearest neighboring patches in the downsampled LR image for each query patch in the LR image. We then obtain the corresponding k HR neighboring patches in the LR image and aggregate them adaptively in accordance to the edge label of the constructed graph. In this way, the HR information can be passed from k HR neighboring patches to the LR query patch to help it recover more detailed textures. Besides, these internal image-specific LR/HR exemplars are also significant complements to the external information learned from the training dataset. Extensive experiments demonstrate the effectiveness of IGNN against the state-of-the-art SISR methods including existing non-local networks on standard benchmarks.

연구 동기 및 목표

• SISR에서 더 고운 질감을 회복하기 위해 내부적이고 이미지 특이적인 크로스-스케일 패치 재발생을 활용하는 동기를 제공한다.
• HR 패치를 다운샘플링된 참조로부터 집계하기 위한 크로스-스케일 그래프 기반 모듈(GraphAgg)을 제안한다.
• LR 쿼리로부터 고해상도 정보를 전달하기 위해 GraphAgg를 IGNN 백본에 통합한다.
• 내부의 크로스-스케일 큐가 외부 학습 데이터와 보완적으로 SR 성능을 표준 벤치마크에서 개선한다는 것을 보인다.

제안 방법

• LR 패치 각각의 다운샘플링된 LR 이미지에서 k 최근접 이웃을 찾아 동적으로 크로스-스케일 그래프 Gk를 구성한다.
• 에지 라벨에 조건화된 에지 네트워크(ECN)를 통해 k HR 패치를 집계하여 향상된 LR 특징 F′L을 생성한다.
• Aggregation 전에 AdaPN을 사용해 LR 및 HR 이웃 패치 간의 저주파 통계를 정렬한다.
• 집계된 HR 특징을 LR 해상도에 맞추고 스킵 연결으로 LR 특징과 융합한다.
• 백본 IGNN은 EDSR 위에 구축되며 GraphAgg는 16번째 잔차 블록 뒤에 삽입되고 작은 ECN/DEN 하위 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 크로스-스케일 재발 패치가 SISR에서 LR에서 HR 재구성에 의미 있는 고해상도 큐를 제공할 수 있는가?
• RQ2 그래프 기반의 크로스-스케일 집계가 SR에서 동일 스케일의 비지역(non-local) 또는 KNN 기반 방법보다 우수한가?
• RQ3 AdaPN 및 ECN 구성요소가 크로스-스케일 패치 집계의 품질과 강건성에 어떤 영향을 미치는가?
• RQ4 백본에서 크로스-스케일 GraphAgg가 SR 성능에 가장 유익한 위치는 어디인가?
• RQ5 주요 하이퍼파라미터(k, 창 크기 d)가 IGNN 성능과 효율성에 미치는 영향은 무엇인가?

주요 결과

• IGNN은 표준 벤치마크에서 최첨단 CNN 기반 SR 방법 및 기존 비지역 네트워크보다 우수한 성능을 보인다.
• 크로스-스케일 GraphAgg는 다운샘플 참조에서 얻은 HR 큐를 활용해 SR 이득을 제공하며, 내부 LR 유사성뿐 아니라 HR 큐를 활용한다.
• 적응형 패치 정규화 및 에지 컨디셔닝 하위 네트워크는 집계의 강건성을 크게 개선하고 색상/ 밝기 불일치를 줄인다.
• 백본의 중간(16번째 블록 뒤)에 위치한 GraphAgg가 가장 큰 성능 향상을 보인다.
• Self-ensemble IGNN+가 스케일 간 PSNR/SSIM를 추가로 향상시킨다.