[논문 리뷰] Gender-From-Iris or Gender-From-Mascara?

Andrey Kuehlkamp, Benedict Becker외 1명|arXiv (Cornell University)|2017. 02. 04.

Face recognition and analysis참고 문헌 14인용 수 4

한 줄 요약

이 논문은 다층 퍼셉트론(MLP)과 합성곱 신경망(CNN)을 사용하여 고유한 성별 분류를 연구하며, 인물 간 분리된 훈련/테스트 조건과 화장 여부를 고려한 데이터 기반 특징과 수작업 특징을 비교한다. 성별-결막 이미지 분류 정확도는 이전에 보고된 바보다 유의미하게 낮으며, 약 66% 수준이지만, 화장과 비인물 간 분리되지 않은 분할에서의 데이터 泄露로 인해 저하된다.

ABSTRACT

Predicting a person's gender based on the iris texture has been explored by several researchers. This paper considers several dimensions of experimental work on this problem, including person-disjoint train and test, and the effect of cosmetics on eyelash occlusion and imperfect segmentation. We also consider the use of multi-layer perceptron and convolutional neural networks as classifiers, comparing the use of data-driven and hand-crafted features. Our results suggest that the gender-from-iris problem is more difficult than has so far been appreciated. Estimating accuracy using a mean of N person-disjoint train and test partitions, and considering the effect of makeup - a combination of experimental conditions not present in any previous work - we find a much weaker ability to predict gender-from-iris texture than has been suggested in previous work.

연구 동기 및 목표

• 실제 실험 조건, 즉 인물 간 분리된 훈련/테스트와 화장 변화를 고려한 성별-결막 인식 정확도를 재평가한다.
• 결막 무늬가 진짜로 성별을 구분할 수 있는 정보를 담고 있는지, 아니면 화장이나 영상 강도와 같은 혼란 요인에 의해 영향을 받는지 평가한다.
• 성별 분류 작업에서 데이터 기반 특징(MLP와 CNN에 의해 학습된 것)과 수작업 특징(LBP, 고바르, 강도) 간의 성능을 비교한다.
• CNN이 MLP와 수작업 특징보다 성별-결막 작업에서 성능 향상을 보이는지 조사한다.
• 막힘 마스크와 영상 강도 임계값이 성별 예측 정확도에 미치는 영향을 정량화한다.

제안 방법

• 2500개의 배치(각각 32장의 영상)에 대해 인물 간 분리된 80/20 훈련-테스트 분할을 사용하였으며, 각 조건당 20회의 랜덤 실험을 통해 분산을 줄였다.
• ReLU 활성화 함수를 사용한 다층 퍼셉트론(MLP)과 합성곱 신경망(CNN)을 사용하였으며, 전체 눈 영상과 분할된 결막 영상(세 가지 해상도)에서 훈련하였다.
• MLP와 CNN 아키텍처에서 엔드 투 엔드 학습을 통해 데이터 기반 특징을 추출하였고, 강도, 고바르 필터링, 국소 이진 패턴(LBP)을 사용하여 수작업 특징을 추출하였다.
• 전체 눈 영상과 분할된 결막 영상에서 성능을 평가하였으며, 막힘 마스크와 임계값이 설정된 강도 맵을 포함하였다.
• 다양한 입력 해상도(예: 95×120에서 285×360까지)와 눈 유형(좌/우)을 비교하여 영상 척도와 모odal 성감도를 평가하였다.
• 10겹 교차검증과 시험 평균 정확도를 사용하여 정확도의 안정성과 과적합 편향을 줄였다.

실험 결과

연구 질문

• RQ1 비인물 간 분리된 훈련과 테스트는 비인물 간 분리되지 않은 분할과 비교해 성별-결막 시스템의 정확도 추정에 어떤 영향을 미치는가?
• RQ2 눈 화장은 성별-결막 기반 시스템의 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 MLP와 CNN에서 학습된 데이터 기반 특징이 성별-결막 작업에서 LBP나 고바르 필터링과 같은 수작업 특징을 능가할 수 있는가?
• RQ4 분할된 결막 또는 막힘 마스크는 실제 결막 무늬 외부에서 성별 예측에 의미 있는 기여를 하는가?
• RQ5 영상 강도와 화장과 같은 혼란 요인을 제거한 상태에서 진짜로 성별 분류 정확도는 얼마인가?

주요 결과

• 인물 간 분리된 훈련과 테스트 조건에서, MLP를 사용한 수작업 특징인 LBP의 평균 성별 분류 정확도는 66% ± 2.7%였으며, 이는 이전에 보고된 정확도보다 유의미하게 낮았다.
• MLP와 CNN에서 학습된 데이터 기반 특징은 약 60%의 정확도를 보였으며, 이는 학습된 특징이 단순한 강도나 임계값 처리 방법보다 성능 향상을 이끌지 못한다는 것을 시사한다.
• 평균 결막 강도를 임계값 처리한 결과 약 60%의 성별 분류 정확도를 달성하였으며, 이는 저수준 영상 통계가 문턱 세부 정보보다 더 큰 영향을 미친다는 것을 시사한다.
• 결막 무늬를 제외한 막힘 마스크만으로도 약 60%의 정확도를 기록하여, 성별 예측이 눈꺼풀 모양이나 속눈썹 무늬와 같은 비무늬적 특징에 의해 크게 영향을 받는다는 것을 시사한다.
• CNN은 MLP보다 유의미한 성능 향상을 보이지 않았으며, 모든 해상도와 입력 유형에서 유사한 정확도를 보였고, 이는 네트워크가 고차원의 무늬 특징을 추출하지 못한다는 것을 의미한다.
• 눈 화장이 존재할 경우 정확도 추정치가 증가하여, 화장이 비인물 간 분리되지 않은 평가에서 성능을 과대평가하는 혼란 요인을 유도한다는 것을 시사한다.