[논문 리뷰] Sparse Representation based Multi-sensor Image Fusion: A Review

Qiang Zhang, Yi Liu외 3명|arXiv (Cornell University)|2017. 02. 12.

Advanced Image Fusion Techniques참고 문헌 64인용 수 10

한 줄 요약

이 논문은 희소 표현(SR) 기반 다중 센서 영상 융합에 대한 종합적인 리뷰를 제공하며, 핵심 구성 요소인 희소 표현 모델, 사전 학습 방법, 활동 수준 융합 규칙를 분석한다. SR 기반 방법이 데이터 기반, 과잉 완성된 사전을 학습함으로써 전통적인 다중 척도 변환 방법보다 우수한 융합 성능을 내며, 주관적 및 객관적 평가 모두에서 특히 잘못 정렬된 조건 하에서도 뛰어난 성능을 보임을 입증한다.

ABSTRACT

As a result of several successful applications in computer vision and image processing, sparse representation (SR) has attracted significant attention in multi-sensor image fusion. Unlike the traditional multiscale transforms (MSTs) that presume the basis functions, SR learns an over-complete dictionary from a set of training images for image fusion, and it achieves more stable and meaningful representations of the source images. By doing so, the SR-based fusion methods generally outperform the traditional MST-based image fusion methods in both subjective and objective tests. In addition, they are less susceptible to mis-registration among the source images, thus facilitating the practical applications. This survey paper proposes a systematic review of the SR-based multi-sensor image fusion literature, highlighting the pros and cons of each category of approaches. Specifically, we start by performing a theoretical investigation of the entire system from three key algorithmic aspects, (1) sparse representation models; (2) dictionary learning methods; and (3) activity levels and fusion rules. Subsequently, we show how the existing works address these scientific problems and design the appropriate fusion rules for each application, such as multi-focus image fusion and multi-modality (e.g., infrared and visible) image fusion. At last, we carry out some experiments to evaluate the impact of these three algorithmic components on the fusion performance when dealing with different applications. This article is expected to serve as a tutorial and source of reference for researchers preparing to enter the field or who desire to employ the sparse representation theory in other fields.

연구 동기 및 목표

• 희소 표현(SR) 기반 다중 센서 영상 융합 방법을 기존의 다중 척도 변환(MST) 방법과 비교하여 체계적으로 리뷰하고 분석하는 것.
• 융합 성능에 영향을 미치는 세 가지 핵심 구성 요소—희소 표현 모델, 사전 학습 전략, 활동 수준 융합 규칙—를 식별하고 평가하는 것.
• 이 분야에 진입하거나 SR 이론을 다른 영상 융합 응용에 적용하는 연구자들을 위한 교육적 안내 및 참고 자료 제공.
• 다양한 SR 모델, 사전 유형, 융합 규칙이 다중 집중 및 다중 모odal 영상 융합 작업에서 성능에 미치는 영향을 조사하는 것.
• 패치 기반 SR 융합에서 계산 복잡도 및 공간 아티팩트 등의 과제를 탐색하고, 局소 일致성 사전을 통한 향상 가능성을 제안하는 것.

제안 방법

• 논문은 희소 표현 모델, 사전 학습 방법, 활동 수준 및 융합 규칙의 세 가지 핵심 구성 요소를 분석함으로써 SR 기반 영상 융합에 대한 이론적 조사를 수행한다.
• 기존 SR 모델과 ASR, GSR, NNSR, JSR, RSR 등의 고급 변종을 비교하여 다양한 융합 작업에 대한 적합성을 평가한다.
• 사전 학습은 고정 기저(예: DCT), 학습 데이터셋에서 전역적으로 학습된 사전, 입력 영상에서 적응적으로 학습된 사전으로 분류되며, 성능 비교가 제공된다.
• 융합 규칙는 표현 계수의 $l_0$-노름, $l_1$-노름, $l_2$-노름으로 정의된 활동 수준 기반으로 평가되며, 최대 선택 규칙이 기준선으로 사용된다.
• 패치 기반 융합 전략이 사용되며, 슬라이딩 윈도우 기법을 통해 잘못 정렬의 영향을 줄이지만, 계산 부담 증가를 수반한다.
• 표준 품질 지표(MI, $Q_G$, $Q_S$, $Q_{ZP}$, $Q_{PC}$)를 사용하여 다중 집중 및 적외선-가시광선 영상 융합 데이터셋에서 실험을 수행하여 구성 요소의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 희소 표현 모델(예: 기존 SR, GSR, RSR)이 다중 집중 및 다중 모달 영상 융합에서 융합 성능에 어떻게 영향을 미치는가?
• RQ2 고정 기저 사전과 학습된 사전(전역 또는 적응형) 간의 상대적 성능은 SR 기반 영상 융합에서 어떻게 나타나는가?
• RQ3 다양한 영상 융합 응용 분야에서 $l_0$-노름, $l_1$-노름, $l_2$-노름 중 어떤 활동 수준 측정 방식이 가장 우수한 융합 결과를 낳는가?
• RQ4 융합 규칙과 표현 모델의 선택이 잘못 정렬에 대한 내성 및 공간 아티팩트에 미치는 영향은 어떠한가?
• RQ5 슬라이딩 윈도우 기법을 사용하는 패치 기반 SR 융합에서 계산 복잡도와 융합 품질 간의 상충 관계는 어떠한가?

주요 결과

• 표현 계수의 $l_1$-노름은 다중 집중 및 다중 모달 영상 융합 모두에서 $l_0$-노름과 $l_2$-노름을 일관되게 능가하며, MI, $Q_G$, $Q_S$, $Q_{ZP}$, $Q_{PC}$ 지표에서 높은 점수를 기록한다.
• 다중 집중 영상의 경우, $l_1$-노름은 평균 MI 4.1267과 $Q_G$ 0.7584를 기록하여 $l_0$-노름(MI: 4.5006, $Q_G$: 0.7098)과 $l_2$-노름(MI: 4.0761, $Q_G$: 0.7557)을 크게 앞서나간다.
• 적외선-가시광선 영상 융합의 경우, $l_1$-노름은 MI = 2.3239와 $Q_G$ = 0.6192를 기록하여 $l_0$-노름(MI: 2.9882, $Q_G$: 0.5826)과 $l_2$-노름(MI: 2.3390, $Q_G$: 0.6135)을 능가한다.
• GSR(Group Sparse Representation)는 다중 집중 및 다중 모달 융합 작업 모두에서 기존 SR보다 더 우수한 융합 성능을 달성한다.
• 적응적으로 학습된 사전과 전역적으로 학습된 사전은 고정 기저 사전(예: DCT)보다 우수하며, 학습된 사전은 더 안정적이고 의미 있는 영상 표현을 가능하게 한다.
• 연구는 패치 기반 SR 융합이 잘못 정렬에 대한 민감도를 줄이지만, 겹치는 윈도우로 인한 정보 손실 위험과 함께 계산 비용 증가를 초래함을 밝혀내며, 희소 코딩 과정에서 局소 일치성 사전을 통합할 필요가 있음을 제안한다.