[논문 리뷰] A Cross-Modal Image Fusion Theory Guided by Human Visual Characteristics.

Aiqing Fang, Xinbo Zhao외 1명|arXiv (Cornell University)|2019. 12. 18.

Advanced Image Fusion Techniques참고 문헌 59인용 수 5

한 줄 요약

이 논문은 인간 시각 인지 특성에 영감을 받은 새로운 교차 모달 이미지 융합 이론을 제안하며, 채널 주의 메커니즘, 비선형 특징 융합, 다중 작업 보조 학습을 다중 손실 비지도 학습 네트워크 내에 통합한다. 이 방법은 적외선-가시광선 및 다중 초점 이미지 융합 벤치마크에서 강건성과 일반화 능력 면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The characteristics of feature selection, nonlinear combination and multi-task auxiliary learning mechanism of the human visual perception system play an important role in real-world scenarios, but the research of image fusion theory based on the characteristics of human visual perception is less. Inspired by the characteristics of human visual perception, we propose a robust multi-task auxiliary learning optimization image fusion theory. Firstly, we combine channel attention model with nonlinear convolutional neural network to select features and fuse nonlinear features. Then, we analyze the impact of the existing image fusion loss on the image fusion quality, and establish the multi-loss function model of unsupervised learning network. Secondly, aiming at the multi-task auxiliary learning mechanism of human visual perception system, we study the influence of multi-task auxiliary learning mechanism on image fusion task on the basis of single task multi-loss network model. By simulating the three characteristics of human visual perception system, the fused image is more consistent with the mechanism of human brain image fusion. Finally, in order to verify the superiority of our algorithm, we carried out experiments on the combined vision system image data set, and extended our algorithm to the infrared and visible image and the multi-focus image public data set for experimental verification. The experimental results demonstrate the superiority of our fusion theory over state-of-arts in generality and robustness.

연구 동기 및 목표

• 특징 선택, 비선형 조합, 다중 작업 학습과 같은 인간 시각 인지 특성에 기반한 이미지 융합 이론의 부족을 해결하기 위해.
• 딥 러닝 아키텍처 내에서 인간 시각 시스템의 다중 작업 및 비선형 처리 메커니즘을 모델링하여 융합 품질을 향상시키기 위해.
• 다양한 이미지 융합 작업에 일반화 가능한 강건한 비지도 다중 손실 최적화 프레임워크를 개발하기 위해.
• 공개 데이터셋(적외선-가시광선 및 다중 초점 이미지 쌍 포함)에서 제안된 융합 이론을 검증하기 위해.

제안 방법

• 입력 이미지에서 주목할 만한 특징를 선택적으로 강조하고 융합하기 위해 채널 주의 메커니즘과 비선형 컨볼루션 신경망을 통합한다.
• 비지도 학습을 위해 다중 손실 함수를 설계하여 구조적, 강도 및 기울기 일致성을 최적화하여 융합 품질을 향상시킨다.
• 인간 시각 시스템이 동시에 여러 시각적 신호를 처리할 수 있는 능력에 영감을 받아 다중 작업 보조 학습 메커니즘을 설계한다.
• 네트워크 아키텍처 내에서 인간 시각 인지의 세 핵심 특성인 특징 선택, 비선형 조합, 다중 작업 처리를 모방한다.
• 주요 융합 손실과 보조 작업 손실을 결합한 공동 최적화 프레임워크를 구현하여 특징 표현과 융합 정확도를 향상시킨다.
• 쌍화된 진짜 융합 결과가 필요 없는 자기지도 학습 프레임워크를 활용하여 실제 데이터에 광범위하게 적용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 딥 이미지 융합 네트워크 내에서 특징 선택 및 비선형 처리와 같은 인간 시각 인지 메커니즘은 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 단일 작업 최적화에 비해 다중 작업 보조 학습이 이미지 융합 성능에 미치는 영향은 무엇인가?
• RQ3 다중 손실 비지도 학습 프레임워크는 기존 최신 기술 수준의 방법보다 교차 모달 이미지 융합에서 승리할 수 있는가?
• RQ4 제안된 융합 이론은 적외선-가시광선 및 다중 초점 융합과 같은 다양한 이미지 융합 작업에 얼마나 일반화 가능한가?
• RQ5 인간 시각 시스템에 영감을 받은 구성 요소는 융합 이미지의 강건성과 품질을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 복합 시각 시스템 데이터셋에서 최신 기술 수준의 접근법에 비해 뛰어난 융합 성능을 달성한다.
• 채널 주의와 비선형 특징 융합의 통합은 핵심적인 구조적 및 강도 세부 사항의 유지에 크게 기여한다.
• 다중 작업 보조 학습 메커니즘이 특징 표현을 향상시키고 더 자연스럽고 정보량이 풍부한 융합 이미지를 생성한다.
• 다중 손실 비지도 프레임워크는 적외선-가시광선 및 다중 초점 이미지 융합을 포함한 다양한 이미지 융합 작업에서 강력한 일반화 능력을 보여준다.
• 정량적 지표와 시각적 품질 모두에서 기존 기법을 뛰어넘어, 이 방법의 강건성과 효과성을 확인한다.