[논문 리뷰] Local Binary Pattern(LBP) Optimization for Feature Extraction

Zeinab Sedaghatjoo, Hossein Hosseinzadeh외 1명|arXiv (Cornell University)|2024. 07. 26.

Advanced Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 국소 이진 패턴(LBP) 기능의 SVD 기반 최적화를 제안하며, LBP 연산자를 세 개의 고정 행렬으로 분해하여 그 중 두 개를 특이값 분해(SVD)를 통해 최적화함으로써 분류 성능을 향상시킨다. 이 방법은 표준 LBP보다 훨씬 적은 수의 기능으로도 얼굴 검출 및 표정 인식에서 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

The rapid growth of image data has led to the development of advanced image processing and computer vision techniques, which are crucial in various applications such as image classification, image segmentation, and pattern recognition. Texture is an important feature that has been widely used in many image processing tasks. Therefore, analyzing and understanding texture plays a pivotal role in image analysis and understanding.Local binary pattern (LBP) is a powerful operator that describes the local texture features of images. This paper provides a novel mathematical representation of the LBP by separating the operator into three matrices, two of which are always fixed and do not depend on the input data. These fixed matrices are analyzed in depth, and a new algorithm is proposed to optimize them for improved classification performance. The optimization process is based on the singular value decomposition (SVD) algorithm. As a result, the authors present optimal LBPs that effectively describe the texture of human face images. Several experiment results presented in this paper convincingly verify the efficiency and superiority of the optimized LBPs for face detection and facial expression recognition tasks.

연구 동기 및 목표

• 표준 LBP가 무늬 분류에서 최적의 성능을 내지 못하는 문제를 해결하기 위해 최적의 LBP 패턴을 규명하는 것.
• 행렬 분해를 이용해 LBP 과정을 수학적으로 재구성하여 깊이 있는 분석과 최적화를 가능하게 하는 것.
• 분류 정확도를 유지하거나 향상시키면서도 필요한 LBP 기능의 수를 줄이는 것.
• 고정 행렬의 특이값 분해(SVD)를 바탕으로 최적의 LBP 패턴을 체계적으로 선택하는 방법을 개발하는 것.
• 실세계 데이터셋을 활용해 얼굴 검출 및 표정 인식 작업에 대해 제안된 방법을 검증하는 것.

제안 방법

• LBP 연산자를 세 행렬의 곱으로 표현: LBP 행렬(E), 타일링 행렬(L), 히스토그램 행렬(H)로 분해하여 수학적 분석이 가능하게 한다.
• 세 행렬 중 두 행렬(L 및 H)이 입력 데이터에 영향을 받지 않는 고정 행렬임을 확인하여 사전 최적화가 가능하도록 한다.
• 고정 행렬 L 및 H에 대해 특이값 분해(SVD)를 적용하여 분류 성능을 최대화하는 최적의 값을 계산한다.
• 주로 균일한 패턴(0과 1 사이의 전이가 최대 2회 이내)인 최적의 8비트 이진 LBP 패턴을 유도한다.
• SVD 최적화된 행렬을 기반으로 가장 분류 능력이 뛰어난 LBP 기능만 추출하는 새로운 알고리즘(알고리즘 2)을 제안한다.
• 교차 검증을 통해 선형 SVM을 사용하여 얼굴 및 표정 인식 작업의 성능을 평가한다.

Figure 1: LBP values computation process. Each $3\times 3$ pixel block in the image is encoded to a LBP value.

실험 결과

연구 질문

• RQ1 LBP 기능 추출 과정을 고정 및 가변 성분으로 분해하여 최적화가 가능한가?
• RQ2 LBP 연산자의 고정 행렬에 특이값 분해(SVD)를 어떻게 적용하여 최적의 LBP 패턴을 도출할 수 있는가?
• RQ3 최적화된 LBP 기능 집합은 표준 LBP보다 더 높은 분류 정확도를 달성하면서도 더 적은 수의 기능을 사용하는가?
• RQ4 최적화된 LBP 패턴은 얼굴 검출 및 표정 인식 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 SVD 기반 최적화 방법은 다른 무늬 기술자나 더 큰 픽셀 이웃 영역으로 일반화될 수 있는가?

주요 결과

• 제안된 SVD 최적화 LBP 기능은 표준 LBP가 요구하는 256개의 기능 대비 오직 16개의 기능만으로도 얼굴 대 배경 분류에서 98% 이상의 정확도를 달성한다.
• CK+ 데이터셋에서 표정 인식 작업을 수행한 결과, 최적화된 LBP 기능은 평균 약 90%의 정확도를 기록했으며, 이는 표준 LBP의 87%보다 높은 성능임에도 불구하고 더 적은 기능을 사용하였다.
• 최적의 LBP 패턴은 대부분 균일 패턴이며, 0과 1 사이의 전이가 최대 2회 이내로 제한되어 있어 무늬 분석에 적합함을 확인하였다.
• 최적화된 LBP의 오분류 행렬은 표준 LBP에 비해 모든 감정 클래스에서 훨씬 적은 오분류를 보였으며, 특히 흉비나 혐오와 같은 드문 감정 유형에서 두드러진 개선이 관찰되었다.
• 분류 정확도를 유지하거나 향상시키면서도 필요한 LBP 기능 수를 50% 이상 감소시켜 높은 효율성을 입증하였다.
• 최적의 LBP 값은 얼굴 검출 및 표정 인식 작업 전반에서 일관되게 나타나 최적화된 패턴의 강건성과 일반화 능력을 보여주었다.

Figure 2: LBP feature extraction process. The image is divided into 16 sub-regions and LBP values are extracted from each region. Then the histogram is applied on the LBP values to extract $8$ features for each sub-region. Then, finally, $128=16\times 8$ features are exploited from the image as LBP