[논문 리뷰] SIP-SegNet: A Deep Convolutional Encoder-Decoder Network for Joint Semantic Segmentation and Extraction of Sclera, Iris and Pupil based on Periocular Region Suppression

Bilal Hassan, Ramsha Ahmed외 2명|arXiv (Cornell University)|2020. 02. 15.

Biometric Identification and Security참고 문헌 104인용 수 8

한 줄 요약

SIP-SegNet은 DnCNN 노이즈 제거, CLAHE 강화 및 조밀하게 연결된 완전 컨volution 신경망 아키텍처를 사용하여 CASIA 데이터셋에서 망막, 망막, 동공을 동시에 분할하는 깊이의 인코더-디코더 네트워크이다. 이를 통해 망막, 망막, 동공에 대해 각각 93.35, 95.11, 96.69의 평균 F1 스코어를 달성한다.

ABSTRACT

The current developments in the field of machine vision have opened new vistas towards deploying multimodal biometric recognition systems in various real-world applications. These systems have the ability to deal with the limitations of unimodal biometric systems which are vulnerable to spoofing, noise, non-universality and intra-class variations. In addition, the ocular traits among various biometric traits are preferably used in these recognition systems. Such systems possess high distinctiveness, permanence, and performance while, technologies based on other biometric traits (fingerprints, voice etc.) can be easily compromised. This work presents a novel deep learning framework called SIP-SegNet, which performs the joint semantic segmentation of ocular traits (sclera, iris and pupil) in unconstrained scenarios with greater accuracy. The acquired images under these scenarios exhibit purkinje reflexes, specular reflections, eye gaze, off-angle shots, low resolution, and various occlusions particularly by eyelids and eyelashes. To address these issues, SIP-SegNet begins with denoising the pristine image using denoising convolutional neural network (DnCNN), followed by reflection removal and image enhancement based on contrast limited adaptive histogram equalization (CLAHE). Our proposed framework then extracts the periocular information using adaptive thresholding and employs the fuzzy filtering technique to suppress this information. Finally, the semantic segmentation of sclera, iris and pupil is achieved using the densely connected fully convolutional encoder-decoder network. We used five CASIA datasets to evaluate the performance of SIP-SegNet based on various evaluation metrics. The simulation results validate the optimal segmentation of the proposed SIP-SegNet, with the mean f1 scores of 93.35, 95.11 and 96.69 for the sclera, iris and pupil classes respectively.

연구 동기 및 목표

• 반사, 저해상도, 눈꺼풀/눈썹 가림, 시선 변화 등 제약 없는 환경에서의 망막 분할 과제를 해결하기 위해.
• 정확한 망막 특징 분할을 통해 多모달 생체 인식 시스템의 강인성과 정확도를 향상시키기 위해.
• 일반적인 노이즈 및 오분류 원인이 되는 망막 주변 영역의 간섭을 적응형 억제 기술을 통해 줄이기 위해.
• 높은 정밀도로 망막, 망막, 동공의 의미 분할을 동시에 수행하는 통합 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 원시 눈 이미지의 노이즈를 줄이기 위해 노이즈 제거 컨volution 신경망(DnCNN)을 사용한 전처리.
• 반사 제거 및 이미지 강화를 위해 대비 제한적 적응형 히스토GRAM 균형화(CLAHE) 적용.
• 적응형 임계값 설정을 통한 망막 주변 영역 추출을 통해 관심 영역을 분리.
• 퍼지 필터링을 통한 망막 정보 억제로 분할 과정 중 간섭 최소화.
• 조밀하게 연결된 완전 컨볼루션 인코더-디코더 네트워크(SIP-SegNet)를 사용한 망막, 망막, 동공의 의미 분할.
• 다양한 촬영 조건에 걸쳐 일반화를 보장하기 위해 다섯 개의 CASIA 데이터셋을 사용한 엔드 투 엔드 학습 및 추론.

실험 결과

연구 질문

• RQ1 제약 없는 눈 이미지에서 최소한의 인간 간섭으로 망막, 망막, 동공을 동시에 정확하게 분할할 수 있는 딥 러닝 프레임워크가 가능한가?
• RQ2 도전적인 촬영 조건에서 망막 구조의 분할 정확도 향상에 있어 망막 주변 영역 억제가 얼마나 효과적인가?
• RQ3 DnCNN 및 CLAHE를 통한 전처리가 망막 분할 네트워크 성능에 얼마나 기여하는가?
• RQ4 퍼지 필터링을 통한 망막 주변 억제 기술이 전통적 전처리 기법과 비교해 분할 F1 스코어에 어떤 영향을 미치는가?
• RQ5 SIP-SegNet은 저해상도, 반사, 가림 등 다양한 현실적 눈 이미지 데이터셋에서 어떤 성능을 보이는가?

주요 결과

• SIP-SegNet은 도전적인 제약 없는 이미지에서 망막 분할에 대해 평균 F1 스코어 93.35를 달성하여 높은 정밀도와 재현율을 보였다.
• 모델는 맹장 분할에 대해 평균 F1 스코어 95.11을 기록하여 반사 및 가림에 강건함을 입증했다.
• 동공 분할은 가장 높은 평균 F1 스코어 96.69를 기록하여 작은, 저대비 영역에서 뛰어난 성능을 보였다.
• DnCNN 노이즈 제거와 CLAHE 강화의 통합은 특히 저대비 및 노이즈가 많은 이미지에서 분할 품질을 크게 향상시켰다.
• 적응형 임계값 설정과 퍼지 필터링을 통한 망막 주변 영역 억제로 잘못된 양성 반응이 감소하고 망막 구조의 경계 정밀도가 향상되었다.
• 프레임워크는 다섯 개의 CASIA 데이터셋에서 일관된 성능을 보이며 실생활 생체 인식 응용 분야에서의 일반화 능력을 입증했다.