[논문 리뷰] WaveFuse: A Unified Deep Framework for Image Fusion with Discrete Wavelet Transform

Shaolei Liu, Manning Wang외 1명|arXiv (Cornell University)|2020. 07. 28.

Advanced Image Fusion Techniques참고 문헌 28인용 수 7

한 줄 요약

WaveFuse는 다중 해상도 이산 웨이블릿 변환(DWT)을 인코더-디코더 네트워크의 특징 맵과 통합함으로써, 훈련 데이터와 계산 비용을 크게 줄이고 상태의 성능을 달성하는 새로운 비지도 딥러닝 프레임워크를 제안한다. 이는 다중 스케일 DWT 기반 융합 규칙를 깊이 있는 특징에 적용하여 세부 사항과 구조적 정보의 보존을 향상시킨다.

ABSTRACT

We propose an unsupervised image fusion architecture for multiple application scenarios based on the combination of multi-scale discrete wavelet transform through regional energy and deep learning. To our best knowledge, this is the first time the conventional image fusion method has been combined with deep learning. The useful information of feature maps can be utilized adequately through multi-scale discrete wavelet transform in our proposed method.Compared with other state-of-the-art fusion method, the proposed algorithm exhibits better fusion performance in both subjective and objective evaluation. Moreover, it's worth mentioning that comparable fusion performance trained in COCO dataset can be obtained by training with a much smaller dataset with only hundreds of images chosen randomly from COCO. Hence, the training time is shortened substantially, leading to the improvement of the model's performance both in practicality and training efficiency.

연구 동기 및 목표

• 기존의 변환 도메인 방법과 학습된 특징을 효과적으로 융합하는 통합된 비지도 딥러닝 프레임워크를 개발하여 다중 시나리오 이미지 융합을 구현하는 것.
• 기존의 딥러닝 기반 융합 방법이 특징의 단순 가중 평균에 의존하고 대규모 데이터셋이 필요로 하는 한계를 해결하는 것.
• 다중 스케일 이산 웨이블릿 변환을 활용하여 깊이 있는 특징 맵 내의 구조적 및 문양적 정보를 더 잘 활용함으로써 융합 성능을 향상시키는 것.
• 최소한의 훈련 데이터로도 고품질의 융합 결과를 달성할 수 있음을 입증하여 훈련 시간과 계산 오버헤드를 줄이는 것.

제안 방법

• 입력 원본 이미지로부터 계층적인 깊이 있는 특징을 추출하기 위해 인코더-디코더 네트워크를 사용한다.
• 추출된 특징 맵을 다중 해상도 이산 웨이블릿 변환(DWT)을 통해 웨이블릿 도메인으로 변환하여 저주파수(구조적) 및 고주파수(문양적) 성분으로 분리한다.
• 지역 에너지 기반의 적응형 융합 규칙를 저주파수 및 고주파수 하위밴드에 독립적으로 적용하여 두드러진 세부 사항과 에지 정보를 보존한다.
• 역방향 DWT를 통해 융합된 특징 맵을 재구성하여 공간적 일관성을 복원한 후 최종 융합 이미지로 디코딩한다.
• 전체 프레임워크는 쌍화된 진짜 융합 이미지가 필요 없는 엔드 투 엔드 비지도 학습 방식으로 훈련된다.
• 웨이블릿 분해 수준과 웨이블릿 기저의 변화에 대해 강건하며, 2단계 분해와 db1 기저에서 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 기존의 이산 웨이블릿 변환(DWT)을 깊이 있는 특징 맵과 융합함으로써 표준 딥러닝 융합 방법에 비해 이미지 융합 성능을 향상시킬 수 있는가?
• RQ2 DWT 기반 융합 모듈은 깊이 있는 특징 내의 구조적 및 문양적 세부 정보 표현을 어느 정도 향상시킬 수 있는가?
• RQ3 대규모 데이터셋 대신 작은 데이터 세트(예: COCO의 0.5%)로 훈련된 경우, 제안된 프레임워크가 비교적 우수한 성능을 달성할 수 있는가?
• RQ4 제안된 프레임워크에서 다양한 웨이블릿 분해 수준과 웨이블릿 기저는 최종 융합 품질에 어떤 영향을 미치는가?

주요 결과

• WaveFuse는 다양한 이미지 융합 벤치마크에서 최상의 성능을 기록하며, 다중 집중 및 적외선-가시광선 융합 작업에서 10개의 목적적 지표 중 7개(EN, CE, FMI_pixel, FMI_dct, Q^NICE, Q^AB/F, MS-SSIM)에서 1위를 차지한다.
• 다중 집중 이미지 융합에서 WaveFuse는 FMI_pixel, FMI_dct, FMI_w, Q^NICE, Q^AB/F에서 최고 점수를 기록했으며, EN, CE, VARI, MS-SSIM에서는 2위를 기록했다.
• 적외선 및 가시광선 이미지 융합에서 WaveFuse는 FMI_dct, FMI_w, Q^NICE, Q^AB/F에서 최고 점수를 기록했고, EN, FMI_pixel, VARI에서는 2위를 기록했다.
• COCO 데이터셋의 0.5% 미니셋(약 100장)으로만 훈련된 모델이 전체 COCO 데이터셋으로 훈련된 모델와 유사한 융합 성능을 달성했으며, 훈련 시간은 7.78시간에서 1시간 미만으로 감소했다.
• 미니셋 훈련 중 GPU 메모리 사용량은 4085 MB로 전체 데이터셋 훈련(17345 MB) 대비 크게 낮은 계산 비용을 보였다.
• 제거 실험 결과 DWT 기반 융합 모듈이 성능 향상에 크게 기여하며, 최적의 설정은 2단계 분해와 db1 웨이블릿 기저임을 확인했다.