[논문 리뷰] AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism

Aiqing Fang, Xinbo Zhao외 3명|arXiv (Cornell University)|2020. 07. 17.

Advanced Image Fusion Techniques참고 문헌 58인용 수 4

한 줄 요약

AE-Net는 인간의 뇌 인지 메커니즘을 영감으로 받아, 다중 방법 협업, 다중 지표 평가 및 반복 학습을 통한 자율적 진화를 가능하게 하는 새로운 이미지 융합 방법을 제안한다. 이는 비지도 학습 기반 이미지 융합을 준지도 학습 문제로 전환하여 적외선-가시광선, 다중 초점, 의료 영상 등 다양한 데이터셋에서의 강인성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

In order to solve the robustness and generality problems of the image fusion task,inspired by the human brain cognitive mechanism, we propose a robust and general image fusion method with autonomous evolution ability, and is therefore denoted with AE-Net. Through the collaborative optimization of multiple image fusion methods to simulate the cognitive process of human brain, unsupervised learning image fusion task can be transformed into semi-supervised image fusion task or supervised image fusion task, thus promoting the evolutionary ability of network model weight. Firstly, the relationship between human brain cognitive mechanism and image fusion task is analyzed and a physical model is established to simulate human brain cognitive mechanism. Secondly, we analyze existing image fusion methods and image fusion loss functions, select the image fusion method with complementary features to construct the algorithm module, establish the multi-loss joint evaluation function to obtain the optimal solution of algorithm module. The optimal solution of each image is used to guide the weight training of network model. Our image fusion method can effectively unify the cross-modal image fusion task and the same modal image fusion task, and effectively overcome the difference of data distribution between different datasets. Finally, extensive numerical results verify the effectiveness and superiority of our method on a variety of image fusion datasets, including multi-focus dataset, infrared and visi-ble dataset, medical image dataset and multi-exposure dataset. Comprehensive experiments demonstrate the superiority of our image fusion method in robustness and generality. In addition, experimental results also demonstate the effectiveness of human brain cognitive mechanism to improve the robustness and generality of image fusion.

연구 동기 및 목표

• 복잡하고 변화하는 데이터 분포 하에서 기존 이미지 융합 방법의 강인성과 일반화 능력 부족 문제를 해결한다.
• 신뢰할 수 있는 레이블과 품질 지표가 부족한 탓에 비지도 학습이 이미지 융합에 한계를 가진다는 문제를 극복한다.
• 인간 뇌 인지 과정을 모방한 지속적 학습 메커니즘을 도입하여 자율적 모델 진화를 가능하게 한다.
• 단일이고 적응 가능한 프레임워크로 다중 모odal 및 동일 모달 이미지 융합 작업을 통합한다.
• 다양한 상호보완적인 방법들 간의 지식 융합을 통합하여 딥러닝 기반 이미지 융합의 일반화 능력을 향상시킨다.

제안 방법

• 다중 방법 협업 모듈, 다중 지표 평가 모듈, 반복 학습 최적화 모듈으로 구성된 삼단계 프레임워크를 제안한다.
• 작동 기억과 지속적 학습을 지원하는 물리 모델을 활용해 인간 뇌 인지 메커니즘을 시뮬레이션한다.
• 다양한 이미지 품질 지표를 기반으로 다손실 공동 평가 함수를 사용하여 융합 품질을 평가하고, 각 이미지에 최적의 솔루션을 선별한다.
• 다양한 방법의 최적 융합 결과를 가짜 레이블로 사용하여 비지도 학습 기반 이미지 융합을 준지도 학습 문제로 전환한다.
• 최고 성능을 보인 융합 결과를 기반으로 반복 최적화를 수행하여 네트워크 가중치를 갱신함으로써 자율적 진화를 가능하게 한다.
• 다양한 이미지 융합 방법들 간의 상호보완적 특징을 활용하여 특징 선택 및 비선형 융합 특성을 향상시킨다.

실험 결과

연구 질문

• RQ1 인간 뇌 인지 메커니즘을 시뮬레이션하면 이미지 융합 네트워크의 강인성과 일반화 능력이 향상되는가?
• RQ2 비지도 학습 기반 이미지 융합을 효과적으로 준지도 학습 문제로 전환할 수 있는가?
• RQ3 다양한 이미지 융합 방법 간의 지식 융합이 성능과 안정성에 얼마나 기여하는가?
• RQ4 다손실 평가 함수가 네트워크 가중치의 최적 융합 결과 향한 진화를 효과적으로 이끌 수 있는가?
• RQ5 자율적 진화 메커니즘이 다양한 데이터 분포를 가진 다양한 이미지 융합 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• AE-Net는 다중 초점, 적외선-가시광선, 다중 노출, 의료 영상 등 다섯 가지 다양한 이미지 융합 작업에서 뛰어난 성능을 달성한다.
• 데이터셋 간 분포 이동에 대해 뛰어난 강인성을 보이며, 교차 데이터셋 일반화에서 최신 기술들을 능가한다.
• 포괄적인 추상화 연구를 통해 인지 메커니즘 시뮬레이션의 통합이 모델 안정성과 학습 효율성을 향상시킨다는 것이 확인된다.
• 다중 지표 평가 및 다수 융합 방법의 가짜 레이블 사용이 수렴 속도와 최종 융합 품질 향상에 기여한다.
• AE-Net의 자율적 진화 메커니즘은 다시 학습 없이도 지속적인 향상을 가능하게 하여 인간 뇌 학습 패턴을 모방한다.
• 실험 결과, 인간 뇌에 영감을 받은 인지 메커니즘이 이미지 융합에서 강인성과 일반화 능력을 크게 향상시킨다는 것이 입증된다.