[논문 리뷰] Joint Image Filtering with Deep Convolutional Networks

Yijun Li, Jia‐Bin Huang외 2명|arXiv (Cornell University)|2017. 10. 11.

Advanced Vision and Imaging참고 문헌 46인용 수 7

한 줄 요약

이 논문은 표적 이미지와 가이던스 이미지를 함께 처리하여 일관된 구조적 세부 정보를 선택적으로 전달하면서 노이즈와 일관되지 않은 무늬를 억제하는, 세 개의 합성곱 서브넷을 사용하는 딥러닝 기반 공동 이미지 필터링 프레임워크를 제안한다. RGB/깊이 데이터로 훈련된 모델은 플래시/비플래시 및 RGB/NIR와 같은 다양한 모odalities로 효과적으로 일반화되며, 효율적인 추론을 통해 깊이 업샘플링과 크로스모달 노이즈 제거에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Joint image filters leverage the guidance image as a prior and transfer the structural details from the guidance image to the target image for suppressing noise or enhancing spatial resolution. Existing methods either rely on various explicit filter constructions or hand-designed objective functions, thereby making it difficult to understand, improve, and accelerate these filters in a coherent framework. In this paper, we propose a learning-based approach for constructing joint filters based on Convolutional Neural Networks. In contrast to existing methods that consider only the guidance image, the proposed algorithm can selectively transfer salient structures that are consistent with both guidance and target images. We show that the model trained on a certain type of data, e.g., RGB and depth images, generalizes well to other modalities, e.g., flash/non-Flash and RGB/NIR images. We validate the effectiveness of the proposed joint filter through extensive experimental evaluations with state-of-the-art methods.

연구 동기 및 목표

• 단지 가이던스 이미지에 의존하는 전통적 공동 필터의 한계를 해결하기 위해, 일관되지 않거나 불필요한 구조를 전달할 수 있는 문제를 해결한다.
• 데이터 기반의 종단 간 훈련 가능한 프레임워크를 개발하여 표적 및 가이던스 이미지를 함께 모델링함으로써 구조 일관성을 향상시킨다.
• 재훈련 없이도 다양한 이미지 모달리티(예: RGB/깊이, 플래시/비플래시, RGB/NIR) 간 일반화를 가능하게 한다.
• 손으로 설계한 목적 함수와 반복 최적화에 대한 의존도를 줄여 더 빠르고 일관성 있는 필터링을 가능하게 한다.

제안 방법

• 이 방법은 세 개의 서브넷을 사용한다: CNN_T는 표적 이미지에서 특징을 추출하고, CNN_G는 가이던스 이미지에서 특징을 추출한다.
• 두 이미지의 특징이 결합되어 세 번째 네트워크인 CNN_F에 입력되며, 이는 선별적으로 중요한 일관된 구조를 전달하는 것을 학습한다.
• 손실 함수를 개선하고 훈련 안정성 및 성능을 향상시키기 위해 표적 이미지의 열악한 품질과 진짜값 간 잔차를 학습하도록 스킵 연결을 사용한다.
• 모든 네트워크는 단계별 훈련 없이 대규모 RGB/깊이 데이터셋을 사용해 종단 간으로 훈련된다.
• 모달리티 변화에 강건한 아키텍처로 설계되어 플래시/비플래시 또는 RGB/NIR와 같은 새로운 데이터 유형으로의 전이가 가능하다.
• 네트워크 깊이 및 병합 레이어 위치와 같은 하이퍼파라미터는 모델 크기와 성능의 균형을 맞추기 위해 분석되었으며, 최적의 깊이는 d=3으로 설정되었다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 공동 필터가 고정된 수작업으로 설계된 필터에 의존하는 전통적 방법보다 구조 전달에서 더 우수한 성능을 내는가?
• RQ2 RGB/깊이 데이터로 훈련된 모델이 플래시/비플래시 또는 RGB/NIR와 같은 다른 모달리티로 일반화되는 정도는 어떠한가?
• RQ3 가이던스 이미지 전용 접근 방식과 비교해 표적 및 가이던스 이미지를 함께 모델링함으로써 필터링 성능이 얼마나 향상되는가?
• RQ4 스킵 연결 및 특징 융합을 포함한 네트워크 아키텍처는 일관되지 않은 무늬 억제 능력에 어떤 영향을 미치는가?
• RQ5 정확도와 계산 비용 측면에서 네트워크 깊이와 성능 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 모델은 깊이 업샘플링 작업에서 NYUv2 데이터셋에서 RMSE 5.86 cm를 기록하여 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• SUN RGB-D 데이터셋에서는 RMSE 5.86 cm를 기록하며 경쟁력 있는 성능을 보이며 강력한 일반화 능력을 입증한다.
• RGB/깊이 데이터로만 훈련되었음에도 불구하고 플래시/비플래시 및 RGB/NIR 이미지 쌍과 같은 새로운 모달리티로 잘 일반화된다.
• 가이던스 이미지에 소규모 무늬(예: Porcelain 또는 카펫의 무늬)가 존재할 경우 성능이 저하되며, 세밀한 세부 정보가 과도하게 부드럽게 처리되는 경향이 있음을 나타낸다.
• 최적의 아키텍처는 각 서브넷의 깊이를 d=3으로 설정하여 모델 크기와 성능의 균형을 맞추며, d=5일 경우 모델 크기는 11.4 MB이다.
• 아블레이션 연구 결과, 세 번째 레이어에서 특징을 병합하는 것이 가장 우수한 성능을 내며, RMSE 5.86 cm를 기록하여 얕거나 깊은 구성보다 뛰어난 성능을 보였다.