[논문 리뷰] Quotient Based Multiresolution Image Fusion of Thermal and Visual Images Using Daubechies Wavelet Transform for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee외 3명|arXiv (Cornell University)|2010. 07. 05.

Advanced Image Fusion Techniques참고 문헌 41인용 수 5

한 줄 요약

이 논문은 열화상 및 시각적 얼굴 영상을 융합하여 인간 얼굴 인식 성능을 향상시키기 위해 다중해상도 웨이블릿 분석을 활용한 몫 기반 이미지 융합 방법을 제안한다. 영상들을 웨이블릿 계수로 분해하고, 1단계 또는 2단계에서 몫 기반 융합을 수행한 후, 주성분 분석(PCA)을 적용하고 다층퍼셉트론(MLP) 분류기를 사용함으로써, 다양한 조명 조건 하에서 OTCBVS 및 IRIS 데이터베이스에서 100%의 인식 정확도를 달성한다.

ABSTRACT

This paper investigates the multiresolution level-1 and level-2 Quotient based Fusion of thermal and visual images. In the proposed system, the method-1 namely "Decompose then Quotient Fuse Level-1" and the method-2 namely "Decompose-Reconstruct then Quotient Fuse Level-2" both work on wavelet transformations of the visual and thermal face images. The wavelet transform is well-suited to manage different image resolution and allows the image decomposition in different kinds of coefficients, while preserving the image information without any loss. This approach is based on a definition of an illumination invariant signature image which enables an analytic generation of the image space with varying illumination. The quotient fused images are passed through Principal Component Analysis (PCA) for dimension reduction and then those images are classified using a multi-layer perceptron (MLP). The performances of both the methods have been evaluated using OTCBVS and IRIS databases. All the different classes have been tested separately, among them the maximum recognition result is 100%.

연구 동기 및 목표

• 다중해상도 웨이블릿 분석을 활용해 조도 변화에 강인한 얼굴 인식을 향상시키기 위해 열화상 및 시각적 영상을 융합함으로써 조도 변화 문제를 해결하고자 한다.
• 특징 표현을 향상시키기 위해 몫 기반 융합을 통해 조도에 강인한 이미지 서명을 개발하고자 한다.
• 열화상 및 시각적 모odalities의 상보적 정보를 융합하여 인식 정확도를 향상시키고자 한다.
• 다양한 조명 조건 하에서 표준 얼굴 인식 데이터베이스에서 융합 방법의 성능을 평가하고자 한다.
• 다비체 웨이블릿을 활용한 다중해상도 융합이 PCA-MLP 분류 파ipeline에서 효과적으로 작용함을 입증하고자 한다.

제안 방법

• 이 방법은 열화상 및 시각적 얼굴 영상 모두에 다비체 웨이블릿 변환을 적용하여 다중해상도 서브밴드로 분해한다.
• 1단계 융합의 경우, 열화상 및 시각적 영상의 대응 웨이블릿 계수 간의 몫을 직접 계산한다.
• 2단계 융합의 경우, 영상들을 분해하고 재구성한 후, 재구성된 서브밴드 간의 몫을 계산한다.
• 몰입 기반 융합된 영상들은 차원 감소를 위해 주성분 분석(PCA)을 거친다.
• 감소된 특징 벡터는 다층퍼셉트론(MLP) 신경망을 통해 분류된다.
• 융합 전략은 정보 손실 없이 이미지 정보를 유지하면서도 조도 변화에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 조도 조건 하에서 다중해상도 수준에서 열화상 및 시각적 영상의 몫 기반 융합이 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 1단계와 2단계 몫 융합 간의 성능 및 특징 보존 능력은 어떻게 상이한가?
• RQ3 다비체 웨이블릿의 사용이 융합 품질 향상 및 인식 강인성 향상에 어느 정도 기여하는가?
• RQ4 제안된 융합 방법이 조도에 강인한 이미지 서명을 생성하여 분류 성능을 향상시키는가?
• RQ5 제안된 융합 방법의 표준 얼굴 인식 데이터베이스(Otcbvs 및 Iris)에서의 인식 성능은 어떠한가?

주요 결과

• 제안된 방법은 다양한 조도 조건 하에서 OTCBVS 및 IRIS 데이터베이스에서 100%의 얼굴 인식 정확도를 달성하였다.
• 2단계 몫 기반 융합이 1단계 융합보다 우수한 성능을 보였는데, 이는 재구성 품질 향상과 계수 정렬 개선 덕분이었다.
• 다비체 웨이블릿의 사용은 중요한 이미지 특징을 손실 없이 효과적으로 다중해상도 분해를 가능하게 하였다.
• 주성분 분석은 차원 감소를 효과적으로 수행하여 계산 효율성 향상과 분류 안정성 향상에 기여하였다.
• 몰입 융합 접근법은 성공적으로 조도에 강인한 이미지 서명을 생성하였으며, 조명 변화에 대한 강인성을 향상시켰다.
• MLP 분류기는 열화상 및 시각적 영상 쌍으로부터 몰입 융합된 후 PCA로 감소된 특징을 입력으로 받을 때 최적의 성능을 발휘하였다.