[논문 리뷰] Image Reconstruction with Predictive Filter Flow

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|2018. 11. 28.

Advanced Image Processing Techniques참고 문헌 48인용 수 14

한 줄 요약

이 논문은 비균일 흐림 제거, 압축 아티팩트 감소, 초해상도 등 이미지 복원 작업에서 최신 기술 수준을 달성하는 공간적으로 변화하는 선형 필터를 예측하는 새로운 딥러닝 프레임워크인 예측 필터 플로우(Predictive Filter Flow, PFF)를 제안한다. 이 방법은 해석 가능하고 빠르며, 자기지도 학습을 통해 엔드 투 엔드로 훈련 가능하며, 과학적 및 상호작용 응용 프로그램을 위한 명시적 가시화 및 제어가 가능한 필터 가중치를 제공한다.

ABSTRACT

We propose a simple, interpretable framework for solving a wide range of image reconstruction problems such as denoising and deconvolution. Given a corrupted input image, the model synthesizes a spatially varying linear filter which, when applied to the input image, reconstructs the desired output. The model parameters are learned using supervised or self-supervised training. We test this model on three tasks: non-uniform motion blur removal, lossy-compression artifact reduction and single image super resolution. We demonstrate that our model substantially outperforms state-of-the-art methods on all these tasks and is significantly faster than optimization-based approaches to deconvolution. Unlike models that directly predict output pixel values, the predicted filter flow is controllable and interpretable, which we demonstrate by visualizing the space of predicted filters for different tasks.

연구 동기 및 목표

• 최적화 기반 방법은 계산 비용이 높고, 데이터 기반의 CNN은 해석 가능성이 부족한 점을 해결하기 위해.
• 비균일 흐림 제거, 아티팩트 감소, 초해상도와 같은 다양한 저수준 시각 작업에 적용 가능한 통합된 엔드 투 엔드 훈련 가능한 프레임워크를 개발하기 위해.
• 직접 픽셀 단위의 회귀가 아니라 공간적으로 변화하는 선형 필터 플로우로 변환을 모델링하여 해석 가능하고 제어 가능한 이미지 복원을 가능하게 하기 위해.
• 예를 들어 흐림, 압축, 다운샘플링과 같은 복원 과정을 시뮬레이션하여 수동 레이블링 없이 대규모 훈련 데이터를 생성함으로써 자기지도 학습을 활용하기 위해.

제안 방법

• 모델은 손상된 입력 이미지를 분석하고 공간적으로 변화하는 선형 필터를 위한 픽셀 단위의 필터 가중치를 예측하기 위해 이중 스트림 CNN을 사용한다.
• 예측된 필터 가중치는 국소 이미지 이웃에 적용되어 비균일 컨벌루션과 유사한 선형 변환을 통해 출력 이미지를 복원한다.
• 예측된 출력과 진짜 이미지 간의 재구성 손실(L2 또는 L1 등)을 사용하여 네트워크를 훈련함으로써 초해상도와 같은 작업에서 자기지도 학습이 가능하다.
• 필터 플로우는 Seitz와 Baker의 원래 연구에 영감을 받았지만, 대규모 최적화 문제를 해결하는 대신 CNN을 직접 사용해 필터 가중치를 회귀함으로써 다릅니다.
• 표준 이미지-이미지 회귀 네트워크에서 어려운 국소 밝기 보존과 같은 제약 조건을 지원할 수 있다.
• k-means 군집화, t-SNE, PCA를 사용한 예측 필터의 시각화 결과는 비정상적인 마스킹, 이방향성 확산, 라플라시안 유사 연산자와 유사한 해석 가능한 구조를 보여준다.

실험 결과

연구 질문

• RQ1 공간적으로 변화하는 필터를 예측하는 딥러닝 모델이 복원 성능에서 최신 기술 수준을 달성하면서도 해석 가능하고 효율적인가?
• RQ2 다양한 이미지 복원 작업에서 예측된 필터 가중치는 어떻게 변화하며, 의미 있는 방식으로 시각화하고 해석할 수 있는가?
• RQ3 합성 복원 과정을 사용한 자기지도 학습이 실제 쌍화된 데이터가 필요한 이미지 복원 작업에서 얼마나 대체 가능한가?
• RQ4 필터 플로우 표현 방식이 가장자리 보존 스무딩 또는 샤프닝과 같은 제어 가능하고 물리적으로 타당한 이미지 변환을 지원할 수 있는가?
• RQ5 기본 CNN의 투명한 특징 맵에 비해 필터 가중치의 해석 가능성은 신뢰성과 과학적 유용성 측면에서 어떻게 비교되는가?

주요 결과

• Set5 및 Set14 데이터셋에서 PFF 모델은 단일 이미지 초해상도 작업에서 PSNR 32.74 dB, SSIM 0.9021을 달성하여 RDN+ 및 SRCNN을 포함한 모든 이전 방법을 능가했다.
• 비균일 운동 흐림 제거 작업에서 PFF 모델은 최신 기술 수준의 방법들을 크게 능가했으며, 시각적 결과는 더 선명한 가장자리와 더 나은 아티팩트 억제를 보였다.
• JPEG 압축 아티팩트 감소 작업에서 모델은 고주파 성분을 효과적으로 복원하고 블록 아티팩트를 감소시켰으며, 필터 시각화 결과는 적응형 고역통과 필터링 행동을 나타냈다.
• 예측된 필터 플로우는 이미지 전반에 걸쳐 부드럽게 변화했고, 두드러진 가장자리와 무늬 영역에서 불연속성이 나타났으며, 이방향성 확산 또는 양방향 필터링과 유사했다.
• 주성분 분석 결과, 10차원 주성분이 필터 에너지의 99.6% 이상을 차지함을 확인하여, 필터 공간의 저차원이고 구조화된 표현임을 시사했다.
• t-SNE 및 k-means를 통한 시각화 결과, 모델이 방향성 통합, 비정상 마스킹, 라플라시안 유사 반응과 같은 의미 있는 필터 패턴을 직접 이미지 복원 작업과 연결하여 학습하는 것으로 나타났다.