[논문 리뷰] Image-level Classification in Hyperspectral Images using Feature Descriptors, with Application to Face Recognition

Vivek Sharma, Luc J. Van Gool|arXiv (Cornell University)|2016. 05. 11.

Remote-Sensing Image Classification참고 문헌 17인용 수 15

한 줄 요약

이 논문은 고분광 영상(HSI)에 대한 새로운 이미지 수준 분류 프레임워크를 제안하며, 각 스펙트럼 밴드를 별개의 이미지로 간주하여 기존의 특징 기술자—HOG, LBP, SIFT—를 활용해 얼굴 인식을 수행한다. 차원 감소 없이 전체 스펙트럼 정보를 활용함으로써, PolyU-HSFD에서 96.1%의 최신 기술 수준(SOTA) 정확도와 CMU-HSFD에서 96.9%의 정확도를 달성하여 기존의 수작업 특징 기반 HSI 얼굴 인식 방법을 능가한다.

ABSTRACT

In this paper, we proposed a novel pipeline for image-level classification in the hyperspectral images. By doing this, we show that the discriminative spectral information at image-level features lead to significantly improved performance in a face recognition task. We also explored the potential of traditional feature descriptors in the hyperspectral images. From our evaluations, we observe that SIFT features outperform the state-of-the-art hyperspectral face recognition methods, and also the other descriptors. With the increasing deployment of hyperspectral sensors in a multitude of applications, we believe that our approach can effectively exploit the spectral information in hyperspectral images, thus beneficial to more accurate classification.

연구 동기 및 목표

• 기존에 주로 픽셀 수준 분류에 집중하는 고분광 영상(HSI)에서 이미지 수준 분류의 부족을 해결하기 위해.
• 기존의 수작업 특징 기술자들이 HSI의 풍부한 스펙트럼 정보를 효과적으로 활용할 수 있는지 탐색하기 위해.
• HSI 얼굴 인식에서 이미지 수준 특징 추출이 픽셀 수준 방법보다 우월함을 입증하기 위해.
• HOG, LBP, SIFT 기술자들이 HSI 얼굴 인식에서 어떻게 성능을 내는지, 특히 가시광선에서 근적외선(V-NIR) 영역에서 비교하기 위해.
• 차원 감소 없이 전체 스펙트럼 밴드를 처리할 경우, 감소된 표현 또는 RGB 기반 표현보다 더 높은 인식 정확도를 얻을 수 있는지 평가하기 위해.

제안 방법

• HSI의 각 스펙트럼 밴드를 개별적인 단색 영상으로 간주하여 이미지 수준 특징 추출을 가능하게 한다.
• 고정된 파rameter를 사용하여 각 밴드에서 특징 기술자—HOG, LBP, SIFT—를 추출한다: HOG는 8×8 윈도우 크기, 9개의 방향 바인을 사용하며, SIFT는 4×4 바인 크기와 8단계 스트라이드를 사용한다.
• SIFT 특징은 100개의 클러스터를 가진 GMM을 사용해 피셔 인코딩(Fisher encoding)되며, 이후 L2 정규화를 거쳐 DSIFT-FV로 구성된다.
• 각 밴드의 특징에 대해 독립적으로 선형 one-vs-all SVM 분류기를 훈련하며, LIBSVM의 C=10을 사용한다.
• 최종 예측은 각 밴드 전용 SVM의 결과를 다수결 투표 방식으로 통합하여 최종 클래스 레이블을 결정한다.
• RGB 비교를 위해, CIE 2006 색채일치 함수, D65 일광 조건, 카메라 감도를 사용하여 HSI에서 3채널 RGB 영상을 합성한 후 동일한 방식으로 처리한다.

실험 결과

연구 질문

• RQ1 개별 스펙트럼 밴드를 이미지로 간주하여 이미지 수준 분류를 수행할 경우, 기존의 픽셀 수준 분류보다 얼굴 인식에서 더 우수한 성능을 낼 수 있는가?
• RQ2 HOG, LBP, SIFT와 같은 수작업 특징 기술자들이 고분광 얼굴 영상에서 분류에 유용한 정보를 효과적으로 포착할 수 있는가?
• RQ3 차원 감소 없이 전체 스펙트럼 밴드를 처리할 경우, 감소된 표현 또는 RGB 기반 표현보다 더 높은 인식 정확도를 얻을 수 있는가?
• RQ4 SIFT 기반 특징은 HSI 얼굴 인식에서 다른 최신 기술 수준 방법과 비교해 어떻게 성능을 내는가?
• RQ5 V-NIR 영역(450–1100 nm)의 스펙트럼 정보는 RGB의 가시광선 범위보다 얼굴 인식에 더 분류 능력이 뛰어나다고 할 수 있는가?

주요 결과

• DSIFT-FV는 PolyU-HSFD 데이터셋에서 96.1%의 가장 높은 인식 정확도를 기록하여, 모든 다른 전통적 특징 기술자와 대부분의 기존 방법을 능가했다.
• CMU-HSFD 데이터셋에서 DSIFT-FV는 96.9%의 정확도를 기록하여, 모든 다른 수작업 특징 기반 방법을 뛰어넘었으며, 더 복잡한 융합 전략을 사용한 Band fusion+PLS를 제외하면 유일하게 뒤이어지는 성능을 보였다.
• HOG와 LBP 기술자는 각각 PolyU-HSFD에서 92.3%와 85.6%의 정확도를 기록하여 강력한 성능를 보였지만, DSIFT-FV에 비해 낮았다.
• 제안된 방법은 RGB 기반 특징 추출보다 뚜렷한 우월성을 보였으며, PolyU-HSFD에서 DSIFT-FV는 RGB 기반으로 85.4%의 정확도를 기록한 반면, 전체 HSI 밴드에서는 96.1%의 정확도를 달성했다.
• 차원 감소 없이 전체 스펙트럼 밴드를 활용함으로써 분류에 중요한 정보가 유지되어, 스펙트럼 차원을 감소시키는 방법보다 성능 향상이 뒤따랐다.
• SIFT 기반 특징은 HSI 얼굴 인식에서 일관되게 뛰어난 성능를 보였으며, 이는 RGB 영상 분류에서의 강력한 성능와 유사한 경향을 보였다.