[논문 리뷰] Finding Discriminative Filters for Specific Degradations in Blind Super-Resolution

Liangbin Xie, Xintao Wang외 3명|arXiv (Cornell University)|2021. 08. 02.

Image Processing Techniques and ApplicationsEngineering인용 수 19

한 줄 요약

이 논문은 파rameter 공간에서 적분 기울기를 기반으로 한 새로운 필터 기여도 방법인 FAIG를 제안한다. 이 방법은 단일 브랜치 블라인드 슈퍼레졸루션 네트워크에서 최소한의 판별적 필터(최소 1%)를 식별하여 자동으로 열화 유형을 예측할 수 있도록 한다. 이 방법은 필터 가중치, 위치, 연결성의 상호작용을 통해 명시적 지도 학습 없이도 암묵적인 열화 분류를 가능하게 하며, 효율적인 블라인드 SR 아키텍처 설계에 대한 해석 가능성과 통찰을 제공한다.

ABSTRACT

Recent blind super-resolution (SR) methods typically consist of two branches, one for degradation prediction and the other for conditional restoration. However, our experiments show that a one-branch network can achieve comparable performance to the two-branch scheme. Then we wonder: how can one-branch networks automatically learn to distinguish degradations? To find the answer, we propose a new diagnostic tool -- Filter Attribution method based on Integral Gradient (FAIG). Unlike previous integral gradient methods, our FAIG aims at finding the most discriminative filters instead of input pixels/features for degradation removal in blind SR networks. With the discovered filters, we further develop a simple yet effective method to predict the degradation of an input image. Based on FAIG, we show that, in one-branch blind SR networks, 1) we are able to find a very small number of (1%) discriminative filters for each specific degradation; 2) The weights, locations and connections of the discovered filters are all important to determine the specific network function. 3) The task of degradation prediction can be implicitly realized by these discriminative filters without explicit supervised learning. Our findings can not only help us better understand network behaviors inside one-branch blind SR networks, but also provide guidance on designing more efficient architectures and diagnosing networks for blind SR.

연구 동기 및 목표

• 단일 브랜치 블라인드 슈퍼레졸루션 네트워크가 명시적인 이중 브랜치 지도 학습 없이도 특정 열화 유형(예: 흐림, 노이즈)을 암묵적으로 구분할 수 있는지 조사하는 것.
• 통합 네트워크에서 특정 열화 제거에 기여하는 최소한의 필터 세트를 식별할 수 있는 진단 도구를 개발하는 것.
• 필터 가중치, 공간적 위치, 연결성의 역할이 단일 브랜치 아키텍처 내에서 열화 유형에 특화된 기능을 어떻게 가능하게 하는지 이해하는 것.
• 추가적인 훈련이나 지도 학습 없이도 발견된 필터를 통해 암묵적으로 열화 예측을 수행할 수 있는지 탐색하는 것.
• 더 효율적이고 강력한 블라인드 슈퍼레졸루션 모델 설계를 안내하는 해석 가능성 통찰을 제공하는 것.

제안 방법

• 입력 픽셀이나 특징가 아니라 파라미터 공간 내 경로를 따라 필터 파라미터의 변화에 따른 네트워크 기능 변화를 추적하는 FAIG(적분 기울기를 기반으로 한 필터 기여도) 방법을 제안한다.
• 파라미터 경로를 따라 기반 기여도를 사용하여 단일 브랜치 SR 네트워크에서 특정 열화(예: 흐림, 노이즈) 제거에 가장 기여하는 필터를 식별한다.
• 기여도 과정 중에 기울기 제거 전략을 적용하여 목표 열화에 대한 기여도를 격리하면서도 다른 열화에 대한 기능은 유지한다.
• 필터 활성화 크기의 학습된 임계값을 사용하여 열화 예측 메커니즘을 개발하여, 미세조정이나 레이블이 있는 열화 데이터 없이도 추론이 가능하도록 한다.
• 발견된 필터의 공간 분포와 연결성을 네트워크 레이어 전반에 걸쳐 시각화하고 분석하여 기능 특화도를 연구한다.
• 표준 벤치마크(SRCNN 스타일 및 SRResNet 기반 블라인드 SR 모델, Set14, DIV2K, BSD100)를 사용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 통합된 단일 브랜치 블라인드 슈퍼레졸루션 네트워크가 명시적 지도 학습 없이도 다양한 이미지 열화 유형을 암묵적으로 구분할 수 있는가?
• RQ2 단일 브랜치 네트워크에서 특정 열화 제거를 위해 필요한 최소한의 필터 세트는 무엇인가?
• RQ3 필터의 가중치, 공간적 위치, 연결성이 함께 모여 열화 유형에 특화된 기능을 수행하는 데 어떤 영향을 미치는가?
• RQ4 추가적인 훈련이나 레이블 없이도 필터 활성화 패턴을 통해 암묵적으로 열화 예측을 수행할 수 있는가?
• RQ5 네트워크 아키텍처 내에서 열화 유형(예: 흐림 대 노이즈)에 따라 판별적 필터의 분포는 어떻게 다른가?

주요 결과

• 제안된 FAIG 방법은 단일 브랜치 블라인드 SR 네트워크에서 흐림, 노이즈 등의 특정 열화 제거에 기여하는 최소한의 1% 필터 세트를 성공적으로 식별하였다.
• 필터 가중치, 공간적 위치, 연결성이 모두 열화 유형에 특화된 복구 기능을 수행할 수 있는 능력에 핵심적인 역할을 하며, 분산되어 있지만 특화된 기능 조직을 나타낸다.
• DIV2K 데이터셋에서 필터 활성화 임계값만을 사용하여 노이즈 예측 정확도는 98%, 흐림 예측 정확도는 96%에 도달하였다. 이는 열화 레이블에 대한 지도 학습 없이도 달성된 결과이다.
• 흐림 제거 필터와 노이즈 제거 필터는 네트워크 전반에 걸쳐 다른 방식으로 공간적으로 분포되어 있으며, 흐림 제거 필터는 뒤쪽에 집중되어 있고, 노이즈 제거 필터는 더 균일하게 분포되어 있어, 기능 특화와 노동 분담이 이루어져 있음을 시사한다.
• 기여도 과정 중 기울기 제거 기법은 필수적이다. 이 기법이 없을 경우 한 열화에 대한 필터가 다른 열화 기능에 간섭하여 판별 능력이 저하된다.
• 결과는 단일 브랜치 네트워크가 이중 브랜치 설계와 유사한 기능 분해를 암묵적으로 학습하며, 자기 지도 학습을 통해 각 열화 유형에 특화된 하위 네트워크가 자연스럽게 형성됨을 보여준다.