[논문 리뷰] Fusion of Daubechies Wavelet Coefficients for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee외 3명|arXiv (Cornell University)|2010. 07. 05.

Advanced Image Fusion Techniques참고 문헌 22인용 수 3

한 줄 요약

이 논문은 시각적 및 열화상 얼굴 영상의 융합 프레임워크를 제안하며, 다비체 웨이브렛(D2) 계수를 5단계 분해 수준에서 사용하고, 차원 감소를 위해 주성분 분석(PCA)을 적용한 후 다층퍼셉트론(MLP) 분류를 수행한다. 이 방법은 IRIS 열화상/시각적 얼굴 데이터베이스에서 100%의 인식 성공률을 달성하여 다양한 조명 및 열화상 조건에서도 뛰어난 성능을 보였다.

ABSTRACT

In this paper fusion of visual and thermal images in wavelet transformed domain has been presented. Here, Daubechies wavelet transform, called as D2, coefficients from visual and corresponding coefficients computed in the same manner from thermal images are combined to get fused coefficients. After decomposition up to fifth level (Level 5) fusion of coefficients is done. Inverse Daubechies wavelet transform of those coefficients gives us fused face images. The main advantage of using wavelet transform is that it is well-suited to manage different image resolution and allows the image decomposition in different kinds of coefficients, while preserving the image information. Fused images thus found are passed through Principal Component Analysis (PCA) for reduction of dimensions and then those reduced fused images are classified using a multi-layer perceptron. For experiments IRIS Thermal/Visual Face Database was used. Experimental results show that the performance of the approach presented here achieves maximum success rate of 100% in many cases.

연구 동기 및 목표

• 다양한 조도 및 열화상 조건에서 얼굴 인식 정확도를 향상시키기 위해 시각적 및 열화상 영상을 융합하고자 한다.
• 다비체 웨이브렛의 다중 해상도 분석 능력을 활용하여 효과적인 특징 추출을 하고자 한다.
• 주성분 분석(PCA)을 통해 융합된 얼굴 영상의 차원을 감소시키고자 한다.
• 다층퍼셉트론(MLP)을 사용하여 융합된 특징를 분류하여 최적의 인식 성능를 달성하고자 한다.
• 기본적인 열화상/시각적 얼굴 데이터베이스(IRIS)를 대상으로 제안된 방법을 평가하고자 한다.

제안 방법

• 시각적 및 열화상 얼굴 영상에 대해 다비체 웨이브렛 변환(D2)을 적용하여 최대 5단계까지 분해한다.
• 시각적 및 열화상 영상의 대응하는 웨이브렛 계수를 사전 정의된 융합 규칙(구체적으로 기술되진 않았지만 계수 수준의 조합임이 암시됨)을 사용해 융합한다.
• 융합된 계수를 기반으로 역다비체 웨이브렛 변환을 수행하여 융합된 얼굴 영상을 재구성한다.
• 융합된 영상의 차원을 주성분 분석(PCA)을 통해 감소시킨다.
• 감소된 특징 벡터를 다층퍼셉트론(MLP) 신경망을 사용해 분류한다.
• 융합 및 분류 파이프라인의 학습 및 테스트에 IRIS 열화상/시각적 얼굴 데이터베이스를 사용한다.

실험 결과

연구 질문

• RQ1 웨이브렛 도메인에서 시각적 및 열화상 얼굴 영상을 융합함으로써 다양한 환경 조건에서 인식 정확도를 향상시킬 수 있는가?
• RQ2 다비체 웨이브렛 계수(D2)는 다양한 영상 모odalities 간에 분류에 유용한 얼굴 특징을 얼마나 효과적으로 유지하는가?
• RQ3 PCA 기반 차원 감소는 융합된 웨이브렛 계수에 대한 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 최대 5단계까지의 다중 수준 웨이브렛 계수 융합은 단일 모odal 접근보다 더 강력한 얼굴 인식 성능을 제공하는가?
• RQ5 실제 세계의 열화상/시각적 데이터셋에서 이 웨이브렛 기반 융합 전략을 통해 달성 가능한 최대 인식 성공률는 얼마인가?

주요 결과

• 제안된 융합 방법은 다양한 실험 조건에서 IRIS 열화상/시각적 얼굴 데이터베이스에서 최대 100%의 인식 성공률를 달성하였다.
• 다비체 웨이브렛 변환을 사용함으로써 효과적인 다중 해상도 분해가 가능했으며, 시각적 및 열화상 스펙트럼 간에 중요한 얼굴 특징를 잘 유지하였다.
• 계수 수준 조합을 통해 생성된 융합 영상들은 개별 모달리티에 비해 뛰어난 분류 능력을 보였다.
• PCA는 융합된 영상의 차원을 효과적으로 감소시켰으며, 분류에 필요한 핵심 정보를 유지하였다.
• PCA로 감소된 특징를 입력으로 사용한 다층퍼셉트론 분류기는 최적의 성능를 기록하였다.
• 다양한 조도 및 열화상 조건에서도 일관된 높은 정확도를 보임으로써 융합 전략이 뛰어난 강건성을 확보하였다.