[논문 리뷰] A Multiple Source Hourglass Deep Network for Multi-Focus Image Fusion

Fidel A. Guerrero Peña, Pedro D. Marrero Fernández외 3명|arXiv (Cornell University)|2019. 08. 28.

Advanced Image Fusion Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 끝에서 끝까지 훈련하여 집중도 지도 추정과 융합 규칙을 복합적으로 학습하는 회귀 기반 손실 함수를 사용하는 다중 소스 시계형 깊은 신경망을 제안한다. 이 방법은 520×520 이미지에서 기존 방법 대비 60배 빠른 속도로 최신 기술 수준의 성능을 달성하며, 두 개 이상의 입력 소스에 걸쳐 높은 계산 효율성과 일반화 능력을 입증한다.

ABSTRACT

Multi-Focus Image Fusion seeks to improve the quality of an acquired burst of images with different focus planes. For solving the task, an activity level measurement and a fusion rule are typically established to select and fuse the most relevant information from the sources. However, the design of this kind of method by hand is really hard and sometimes restricted to solution spaces where the optimal all-in-focus images are not contained. Then, we propose here two fast and straightforward approaches for image fusion based on deep neural networks. Our solution uses a multiple source Hourglass architecture trained in an end-to-end fashion. Models are data-driven and can be easily generalized for other kinds of fusion problems. A segmentation approach is used for recognition of the focus map, while the weighted average rule is used for fusion. We designed a training loss function for our regression-based fusion function, which allows the network to learn both the activity level measurement and the fusion rule. Experimental results show our approach has comparable results to the state-of-the-art methods with a 60X increase of computational efficiency for 520X520 resolution images.

연구 동기 및 목표

• 다중 집중도 이미지 융합에서 수작업으로 설계된 활동 수준 측정법과 융합 규칙의 한계를 해결하기 위해.
• 집중도 지도 추정과 융합 전략을 함께 학습하는 데이터 기반, 끝에서 끝까지의 딥러닝 프레임워크를 개발하기 위해.
• 융합 품질을 유지하거나 초월하면서도 계산 효율성을 향상시키기 위해.
• 소스 순서에 영향을 받지 않는 교환 법칙이 적용된 두 개 이상의 입력 소스에 대해 일반화하기 위해.
• 의료 영상 및 디지털 포토그래피와 같은 실용적 응용 분야에서 거의 실시간 융합을 가능하게 하기 위해.

제안 방법

• 에ncoder-디코더 구조와 스케일 연결을 결합한 다중 소스 시계형 아키텍처를 사용하여 공간적 세부 정보를 유지한다.
• 고품질 이미지의 제어된 블러링을 통해 생성된 합성 다중 집중도 데이터셋을 사용해 끝에서 끝까지 훈련한다.
• 회귀 기반 손실 함수를 통해 활동 수준 측정(집중도 지도)과 융합 규칙을 함께 학습할 수 있도록 한다.
• 두 가지 변형을 제안한다: HF-Reg(회귀 기반)와 HF-Seg(세그멘테이션 기반), 모두 가중 평균 융합을 사용한다.
• 100개의 이미지 쌍으로 구성된 합성 데이터셋을 사용해 훈련하며, 최적화에 파이토치와 GPU를 활용한다.
• 입력 이미지 크기와 소스 수에 관계없이 적용 가능하므로, 두 개 이상의 소스 이미지에 대해 민첩하게 적용할 수 있다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 수작업으로 설계된 구성 요소 없이 집중도 지도 추정과 융합 규칙을 함께 학습할 수 있는가?
• RQ2 끝에서 끝까지의 시계형 아키텍처가 전통적인 패치 기반 또는 시아메스 기반 융합 네트워크보다 속도와 정확도에서 뛰어나게 성능을 내는가?
• RQ3 데이터 기반의 회귀 기반 접근법이 여러 입력 소스에 걸쳐 일반화되며 높은 성능을 유지할 수 있는가?
• RQ4 기존 최신 기술 수준의 MFIF 방법과 비교해 제안된 방법의 계산 효율성은 어떠한가?
• RQ5 모델이 노이즈가 있는 다중 집중도 입력을 효과적으로 융합할 수 있는가? 이는 청소년 데이터를 초월한 강건성의 증거가 된다.

주요 결과

• 제안된 HF-Reg 및 HF-Seg 네트워크는 합성 및 실재 데이터셋 모두에서 최신 기술 수준의 방법과 비교해 유사하거나 뛰어난 성능을 달성한다.
• 기존 방법 대비 추론 시간에서 60배 빠른 성능을 보이며, GPU에서 520×520 이미지에 대해 단 0.0023초가 소요된다.
• Lytro 3소스 실재 데이터셋에서 HF-Seg 변형이 더 뛰어난 시각적 결과를 내었으며, 융합 과정에서 오차 누적을 줄이는 데 특히 유리했다.
• HF-Reg 모델는 노이즈가 있는 입력에 대해 강건성을 보였으며, 노이즈가 있는 데이터로 훈련된 후에도 필터링된 고해상도 전체 초점 이미지를 생성했다.
• 다양한 이미지 크기와 입력 소스 수에 걸쳐 잘 일반화되며, 130×130, 260×260, 520×520 해상도에서 일관된 성능을 보였다.
• 제어된 블러링을 통해 생성된 합성 데이터를 사용한 훈련 프로토콜 덕분에, 획득 비용 없이도 고품질의 무한한 훈련 샘플을 확보할 수 있었다.