[논문 리뷰] Unfolding Taylor's Approximations for Image Restoration

Man Zhou, Zeyu Xiao외 4명|arXiv (Cornell University)|2021. 09. 08.

Image and Signal Denoising Methods참고 문헌 58인용 수 9

한 줄 요약

이 논문은 이미지 복원을 테일러 전개의 전개로 재구성함으로써 고수준의 맥락적 이해(주요 항)와 국소적 세부 정보 복원(도함수 항)을 분리하는 새로운 딥 테일러 근사 프레임워크를 제안한다. 두 가지 다른 네트워크 단계로 이 역할을 분리함으로써, 이미지 레인닝 및 블러링 제거에서 성능과 해석 가능성 향상을 이룬다. 기존의 CNN과 수직적(orthogonal)이므로, 최신 성능 향상을 위한 플러그인 방식의 강화가 가능하다.

ABSTRACT

Deep learning provides a new avenue for image restoration, which demands a delicate balance between fine-grained details and high-level contextualized information during recovering the latent clear image. In practice, however, existing methods empirically construct encapsulated end-to-end mapping networks without deepening into the rationality, and neglect the intrinsic prior knowledge of restoration task. To solve the above problems, inspired by Taylor's Approximations, we unfold Taylor's Formula to construct a novel framework for image restoration. We find the main part and the derivative part of Taylor's Approximations take the same effect as the two competing goals of high-level contextualized information and spatial details of image restoration respectively. Specifically, our framework consists of two steps, correspondingly responsible for the mapping and derivative functions. The former first learns the high-level contextualized information and the later combines it with the degraded input to progressively recover local high-order spatial details. Our proposed framework is orthogonal to existing methods and thus can be easily integrated with them for further improvement, and extensive experiments demonstrate the effectiveness and scalability of our proposed framework.

연구 동기 및 목표

• 이미지 복원을 위한 엔드 투 엔드 딥 러닝 모델에서의 해석 불가능성과 합리적 설계 부족 문제를 해결하기 위해.
• 수학적으로 기반을 둔 원칙적인 방식으로 고수준 맥락 정보와 세밀한 공간적 세부 정보 간의 상충 관계를 균형 있게 조절하기 위해.
• 기존의 CNN 기반 복원 모델과 쉽게 통합될 수 있는 모듈형이며, 상호 독립적인 프레임워크를 개발하기 위해.
• 이미지 복원 아키텍처의 이해와 설계를 위한 새로운 이론적 시각—테일러 근사—를 제공하기 위해.

제안 방법

• 프레임워크는 이미지 복원을 두 단계로 분해한다: 고수준 맥락적 특징을 학습하는 매핑 함수와 국소적 고차원 공간 세부 정보를 복원하는 도함수 함수.
• 테일러 전개의 주요 항은 전반적인 맥락 학습에 해당하고, 도함수 항은 국소적 세부 정보 정련을 모델링한다.
• 도함수 함수는 열악한 입력과 맥락적 특징을 조합하여 고차 근사에 의해 점진적으로 세부 정보를 복원한다.
• 이 방법은 기존 네트워크와 수직적이도록 설계되어, 어떤 CNN 기반 복원 모델에도 플러그인 모듈로 쉽게 통합될 수 있다.
• 프레임워크는 다양한 순서의 근사(예: 3차에서 6차)를 지원하여 속도와 정확도 사이의 제어 가능한 트레이드오프를 가능하게 한다.
• 도함수 함수는 다양한 순서 간에 공유 파라미터를 사용하여 학습을 단순화하면서도 유연성을 유지한다.

실험 결과

연구 질문

• RQ1 테일러 근사는 이미지 복원 과정을 원칙적이고 해석 가능한 방식으로 분해할 수 있는가?
• RQ2 전반적인 맥락 학습과 국소적 세부 정보 복원을 별도의 단계로 분리함으로써 복원 성능과 모델의 해석 가능성 향상이 가능한가?
• RQ3 제안된 프레임워크는 레인닝 및 블러링 제거와 같은 다양한 이미지 복원 작업에 일반화되는가?
• RQ4 이 프레임워크는 기존의 CNN 기반 모델과 원활하게 통합되어 아키텍처의 대대적 개편 없이 성능 향상을 이룰 수 있는가?

주요 결과

• 표준 벤치마크에서 제안된 프레임워크로 강화된 모든 베이스라인 모델이 레인닝 및 블러링 제거 작업에서 일관된 성능 향상을 보였다.
• 3차 근사가 성능과 복잡도 사이의 최적 균형을 이룩하여, 분석 및 비교의 최적 기준으로서의 역할을 하였다.
• Rain800 및 GoPro 데이터셋에서의 시각적 결과는 고차 근사에서 질감 복원 향상과 잡음 감소가 뚜렷하게 향상되었음을 보여주었다.
• 다양한 아키텍처를 통해 성능 향상이 관찰됨으로써, 프레임워크의 확장성과 수평적(orthogonal) 성능 및 일반화 능력이 입증되었다.
• 분석 연구를 통해 도함수 함수가 국소 세부 정보 정련에 핵심적인 역할을 하며, 고차 항이 세밀한 복원 성능을 크게 향상시킨다는 것이 확인되었다.