[논문 리뷰] Discovering Distinctive "Semantics" in Super-Resolution Networks

Yihao Liu, Anran Liu외 5명|arXiv (Cornell University)|2021. 08. 01.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 초해상도(SR) 네트워크가 이미지의 복원도(예: 흐림, 노이즈) 유형에 관련된 의미론적 특징(즉, 콘텐츠와는 무관한 특징)을 명시적 지도 없이 내재적으로 깊이 있는 복원도 표현(Degradation Representation, DDR)을 학습한다는 것을 발견한다. 차원 축소 및 시각화를 통해 저자들은 잘 훈련된 SR 네트워크가 복원도 유형을 자연스럽게 구분함을 보이며, 적대적 훈련과 글로벌 잔차 연결이 이 능력을 크게 향상시킨다. 이는 블라인드 SR 및 왜곡 식별과 같은 응용 분야에서 뛰어난 성능을 발휘한다.

ABSTRACT

Image super-resolution (SR) is a representative low-level vision problem. Although deep SR networks have achieved extraordinary success, we are still unaware of their working mechanisms. Specifically, whether SR networks can learn semantic information, or just perform complex mapping function? What hinders SR networks from generalizing to real-world data? These questions not only raise our curiosity, but also influence SR network development. In this paper, we make the primary attempt to answer the above fundamental questions. After comprehensively analyzing the feature representations (via dimensionality reduction and visualization), we successfully discover the distinctive "semantics" in SR networks, i.e., deep degradation representations (DDR), which relate to image degradation instead of image content. We show that a well-trained deep SR network is naturally a good descriptor of degradation information. Our experiments also reveal two key factors (adversarial learning and global residual) that influence the extraction of such semantics. We further apply DDR in several interesting applications (such as distortion identification, blind SR and generalization evaluation) and achieve promising results, demonstrating the correctness and effectiveness of our findings.

연구 동기 및 목표

• 초해상도 네트워크가 단순한 매핑 함수를 넘어서 의미론적 정보를 학습하는지 조사하기.
• SR 네트워크가 명시적 지도 없이도 실제 세계의 복원도에 일반화 가능한지 판단하기.
• SR 네트워크가 복원도 관련 표현을 학습하는 데 기여하는 메커니즘을 밝혀내기.
• 이러한 학습된 표현이 블라인드 SR 및 왜곡 식별과 같은 후속 작업에 어떻게 활용될 수 있는지 평가하기.

제안 방법

• 저자들은 차원 축소(예: t-SNE) 및 시각화 기법을 사용해 SR 네트워크의 깊이 있는 특징 표현을 분석한다.
• 적대적 손실 및 글로벌 잔차 연결 유무에 따라 훈련된 SR 네트워크의 특징 맵을 비교한다.
• 다양한 복원도(예: 흐림, 노이즈)를 가진 입력에 대해 SRResNet 및 SRGAN 등의 모델에서 특징 맵을 추출하고 분석한다.
• 제로샷 일반화 프로토콜을 사용해 학습된 특징의 복원도 유형 간 구별 능력을 평가한다.
• 발견된 깊이 있는 복원도 표현(DDR)을 왜곡 식별 및 블라인드 초해상도와 같은 작업에 적용한다.

실험 결과

연구 질문

• RQ1 초해상도 네트워크는 이미지 콘텐츠를 넘어서 의미론적 특징을 학습하는가, 만약 그렇다면 어떤 유형인가?
• RQ2 SR 네트워크는 명시적 지도 없이도 알려지지 않은 복원도 유형에 일반화 가능한가?
• RQ3 어떤 아키텍처 구성 요소가 복원도 관련 표현의 추출을 가능하게 하는가?
• RQ4 적대적 훈련과 글로벌 잔차 연결은 이러한 표현 학습에 어떤 영향을 미치는가?

주요 결과

• 잘 훈련된 SR 네트워크는 복원도 수준의 지도 없이도 다양한 복원도 유형을 구별할 수 있는 깊이 있는 복원도 표현(DDR)을 자발적으로 학습한다.
• 적대적 훈련과 글로벌 잔차 연결의 존재가 복원도 관련 특징의 추출 및 유지 능력을 크게 향상시킨다.
• DDR는 훈련 중에 노출되지 않은 실제 세계의 복원도(예: Hollywood100 데이터셋)에 대해 효과적인 제로샷 일반화를 가능하게 한다.
• 학습된 DDR는 기준 방법보다 왜곡 식별 성능에서 뛰어나며, DIV2K-mild 데이터셋에서 92.3%의 정확도를 달성한다.
• 시각화 결과에 따르면 글로벌 잔차 연결이 콘텐츠 특성에 민감한 특징을 억제하여 네트워크가 복원도 패atters에 집중하도록 한다.
• GAN 기반의 SR 모델은 글로벌 잔차 연결이 없더라도 MSE 기반 모델보다 더 강한 DDR 구별 능력을 보인다.