[논문 리뷰] A Deep Tree-Structured Fusion Model for Single Image Deraining

Xueyang Fu, Qi Qi외 4명|arXiv (Cornell University)|2018. 11. 21.

Image Enhancement Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 단일 이미지 비 제거 문제에서 잔여물의 중복을 줄이고 표현 학습을 향상시키기 위해 확장된 컨볼루션 블록 내외에서 계층적으로 특징을 융합하는 딥 트리 구조 융합 모델을 제안한다. 이 방법은 단지 35,427개의 파라미터로도 합성 및 실세계 데이터셋에서 더 깊은 네트워크인 ResNet과 DenseNet을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a simple yet effective deep tree-structured fusion model based on feature aggregation for the deraining problem. We argue that by effectively aggregating features, a relatively simple network can still handle tough image deraining problems well. First, to capture the spatial structure of rain we use dilated convolutions as our basic network block. We then design a tree-structured fusion architecture which is deployed within each block (spatial information) and across all blocks (content information). Our method is based on the assumption that adjacent features contain redundant information. This redundancy obstructs generation of new representations and can be reduced by hierarchically fusing adjacent features. Thus, the proposed model is more compact and can effectively use spatial and content information. Experiments on synthetic and real-world datasets show that our network achieves better deraining results with fewer parameters.

연구 동기 및 목표

• 비줄기로 인한 이미지 품질 저하와 후속 비전 작업에 악영향을 미치는 단일 이미지 비 제거 문제를 해결하기 위해.
• 깊은 네트워크에서 특징 중복을 줄여 새로운 의미 있는 표현 생성을 방해하는 문제를 해결하기 위해.
• 기존 방법보다 파라미터 수가 적은 컴act한 네트워크 아키텍처를 사용하여 비 제거 성능을 향상시키기 위해.
• 비가 내리는 이미지에서 공간적 정보와 콘텐츠 정보를 모두 포착하는 데 트리 구조 특징 융합의 효과를 탐색하기 위해.
• 간단하고 잘 설계된 특징 융합이 더 깊고 복잡한 아키텍처를 능가할 수 있음을 보여주기 위해.

제안 방법

• 비줄기의 공간적 구조를 포착하기 위해 다중 척도 확장 컨볼루션을 기본 블록으로 사용한다.
• 각 블록 내부(공간 융합)와 블록 간(콘텐츠 융합)에 적용되는 트리 구조 융합 메커니즘을 도입한다.
• 비가 내린 이미지와 복원된 출력 사이의 잔여치를 예측함으로써 잔여 학습을 적용한다.
• 모서리 유지와 구조 유사도의 균형을 위해 MSE와 SSIM의 조합 손실 함수를 사용한다.
• 파라미터 수를 최소화하기 위해 8개의 확장 컨볼루션 블록과 특징 추출/재구성 헤드를 가진 경량 네트워크를 설계한다.
• 스킵 연결을 활용한 표준 CNN 연산을 사용하여 효과적인 학습과 특징 전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층적 특징 융합을 갖춘 단순하고 경량의 네트워크가 단일 이미지 비 제거에서 더 깊고 복잡한 아키텍처를 능가할 수 있는가?
• RQ2 트리 구조 특징 융합은 비 제거 작업에서 중복을 줄이고 표현 학습을 향상시키는 데 얼마나 효과적인가?
• RQ3 MSE와 SSIM 손실을 조합하면 복원된 이미지의 시각적 품질과 구조 유사도를 얼마나 향상시킬 수 있는가?
• RQ4 36,000개 이하의 파라미터를 가진 컴팩트한 네트워크가 합성 및 실세계 비 제거 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 융합 메커니즘은 ResNet의 표준 스킵 연결과 DenseNet의 밀집 연결에 비해 어떻게 비교되는가?

주요 결과

• 제안된 모델은 Rain100H 데이터셋에서 PSNR 27.46을 기록하여, 유사한 파라미터 수를 가진 ResNet(얕은: 25.71, 깊은: 28.03)과 DenseNet(얕은: 25.87, 깊은: 28.24)를 모두 능가한다.
• Rain1400 데이터셋에서는 PSNR 31.32와 SSIM 0.92를 기록하여 대규모 실세계 비가 내리는 이미지에서 강력한 성능을 보여준다.
• 모델은 단지 35,427개의 파라미터만 사용하며, 깊은 설정에서 ResNet(186,483)과 DenseNet(232,883)보다 훨씬 적은 수이지만 더 좋은 성능을 달성한다.
• 시각적 비교 결과, MSE + SSIM 손실 조합이 단일 손실을 사용하는 것보다 더 깔끔하고 대비가 뚜렷하며 더 적은 아티팩트를 생성하는 결과를 낳는다.
• 특징 맵 시각화 결과, 트리 구조 모델이 더 깊은 ResNet 및 DenseNet 변종보다 더 구분 가능하고 의미 있는 특징을 생성하는 것으로 확인된다.
• 모델은 합성(Rain100H) 및 실세계(Rain1400, Rain1200) 데이터셋에서 최신 기술 수준의 성능을 달성하여 그 강건성과 일반화 능력을 입증한다.