[논문 리뷰] Extraction of Facial Feature Points Using Cumulative Histogram

Sushil Kumar Paul, Mohammad Shorif Uddin외 1명|arXiv (Cornell University)|2012. 03. 15.

Face recognition and analysis참고 문헌 17인용 수 15

한 줄 요약

이 논문은 누적 히스토그램 접근법과 동적 임계값 설정을 사용하여 정면 얼굴 영상에서 눈, 눈썹, 코, 입 모서리와 같은 얼굴 특징점을 자동으로 추출하는 적응형 알고리즘을 제안한다. 영역별 누적 히스토그램에서 유도된 임계값 처리된 필터링 영상에 대해 연결된 성분 분석과 윤곽 검출을 적용함으로써, 다양한 조도와 표정 조건에서 BioID 데이터베이스에서 평균 95.27%의 성공률을 달성한다.

ABSTRACT

This paper proposes a novel adaptive algorithm to extract facial feature points automatically such as eyebrows corners, eyes corners, nostrils, nose tip, and mouth corners in frontal view faces, which is based on cumulative histogram approach by varying different threshold values. At first, the method adopts the Viola-Jones face detector to detect the location of face and also crops the face region in an image. From the concept of the human face structure, the six relevant regions such as right eyebrow, left eyebrow, right eye, left eye, nose, and mouth areas are cropped in a face image. Then the histogram of each cropped relevant region is computed and its cumulative histogram value is employed by varying different threshold values to create a new filtering image in an adaptive way. The connected component of interested area for each relevant filtering image is indicated our respective feature region. A simple linear search algorithm for eyebrows, eyes and mouth filtering images and contour algorithm for nose filtering image are applied to extract our desired corner points automatically. The method was tested on a large BioID frontal face database in different illuminations, expressions and lighting conditions and the experimental results have achieved average success rates of 95.27%.

연구 동기 및 목표

• 정면 얼굴 영상에서 핵심 얼굴 특징점을 자동으로, 적응적으로 추출하는 방법을 개발하기 위해.
• 조도, 표정, 영상 품질의 변동에 대한 강건성을 향상시키기 위해.
• 영역별로 특화된 필터링을 위해 변동 임계값을 사용하는 누적 히스토그램 분석을 활용하기 위해.
• 눈, 눈썹, 코, 입의 모서리 위치를 높은 정확도로 특정하기 위해.
• 복잡한 랜드마크 검출 모델에 대한 계산 효율적인 대안을 제공하기 위해.

제안 방법

• 입력 영상에서 얼굴 영역을 국소화하고 자르기 위해 Viola-Jones 얼굴 검출기를 사용한다.
• 얼굴을 여섯 개의 관련 영역으로 분할한다: 오른쪽 및 왼쪽 눈썹, 오른쪽 및 왼쪽 눈, 코, 입.
• 각 영역에 대해 히스토그램을 계산하고 이를 누적 히스토그램으로 변환한 후, 적응형 임계값 설정을 통해 필터링 영상을 생성한다.
• 눈, 눈썹, 입에 대해 필터링 영상에 연결된 성분 분석을 적용하여 특징 영역을 식별한다.
• 코 영역에는 윤곽 기반 알고리즘을 사용하여 코 끝과 모서리 점을 검출한다.
• 눈, 눈썹, 입의 필터링 영상에서 모서리 점을 찾기 위해 단순 선형 탐색 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 조도 조건에서 누적 히스토그램 분석과 적응형 임계값 설정을 사용할 경우 얼굴 특징점을 신뢰성 있게 추출할 수 있는가?
• RQ2 표정 변화에 대한 내성과 정확도 측면에서 기존 방법과 비교해 본다면 제안된 방법은 어떻게 성능을 내는가?
• RQ3 영역별로 특화된 필터링을 사용할 경우 특징점의 국소화 정밀도는 어느 정도 향상되는가?
• RQ4 이 방법은 실시간 응용에 충분히 계산 효율적인가?
• RQ5 이 알고리즘은 다양한 얼굴 구조와 영상 품질 수준에서도 일반화 가능한가?

주요 결과

• 제안된 방법은 BioID 정면 얼굴 데이터베이스에서 평균 95.27%의 성공률을 달성하였다.
• 알고리즘이 다양한 조도 조건과 표정 변화에 걸쳐 강건한 성능을 보였다.
• 누적 히스토그램에 대한 적응형 임계값 설정을 통해 노이즈에 대한 내성과 특징 대비가 향상되었다.
• 연결된 성분 분석이 눈, 눈썹, 입 모서리 후보 영역을 효과적으로 분리하는 데 성공했다.
• 코 영역에 대해 윤곽 기반 접근법이 코 끝과 측면 점을 성공적으로 검출하였다.
• 조도 변화에 대한 정확도와 안정성 측면에서 기준 방법보다 제안된 방법이 뛰어난 성능을 보였다.