[논문 리뷰] Sensor-invariant Fingerprint ROI Segmentation Using Recurrent Adversarial Learning

Indu Joshi, Ayush Utkarsh외 5명|arXiv (Cornell University)|2021. 07. 03.

Biometric Identification and Security참고 문헌 60인용 수 13

한 줄 요약

이 논문은 새로운 지문 센서에서 수동 ROI 레이블링이 필요 없도록, 센서에 강인한 지문 영역 관심영역(ROI) 분할을 위한 순환 적대적 학습 기반 방법 RA-RUnet을 제안한다. 새로운 센서의 특징을 훈련 중인 센서의 특징으로 반복적으로 정렬함으로써 적대적 학습을 통해 모델은 센서 간에 강인한 표현을 학습하며, 재학습 없이도 새로운 기기에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A fingerprint region of interest (roi) segmentation algorithm is designed to separate the foreground fingerprint from the background noise. All the learning based state-of-the-art fingerprint roi segmentation algorithms proposed in the literature are benchmarked on scenarios when both training and testing databases consist of fingerprint images acquired from the same sensors. However, when testing is conducted on a different sensor, the segmentation performance obtained is often unsatisfactory. As a result, every time a new fingerprint sensor is used for testing, the fingerprint roi segmentation model needs to be re-trained with the fingerprint image acquired from the new sensor and its corresponding manually marked ROI. Manually marking fingerprint ROI is expensive because firstly, it is time consuming and more importantly, requires domain expertise. In order to save the human effort in generating annotations required by state-of-the-art, we propose a fingerprint roi segmentation model which aligns the features of fingerprint images derived from the unseen sensor such that they are similar to the ones obtained from the fingerprints whose ground truth roi masks are available for training. Specifically, we propose a recurrent adversarial learning based feature alignment network that helps the fingerprint roi segmentation model to learn sensor-invariant features. Consequently, sensor-invariant features learnt by the proposed roi segmentation model help it to achieve improved segmentation performance on fingerprints acquired from the new sensor. Experiments on publicly available FVC databases demonstrate the efficacy of the proposed work.

연구 동기 및 목표

• 새로운, 알려지지 않은 지문 센서에서 테스트할 때 지문 ROI 분할 모델의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 모든 새로운 지문 센서에서 비용이 많이 들고 시간이 오래 걸리는 수동 ROI 레이블링이 필요 없도록, 0-샷 적응을 가능하게 하기 위해.
• 적대적 특징 정렬을 통해 센서 간에 강인한 특징를 학습함으로써 새로운 센서에서의 분할 성능을 향상시키기 위해.
• 단일 단계 방법과 비교해 복수 단계 반복적 적대적 학습이 특징 정교화 및 경계 분할 정확도를 향상시키는지 확인하기 위해.
• 공개된 FVC 지문 데이터베이스에서 교차 센서 평가 환경 하에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 기본 U-Net 기반 분할 네트워크에 소스(이미지가 훈련된) 센서와 타겟(새로운) 센서의 특징를 정렬하는 순환 적대적 특징 정렬 모듈을 통합한 RA-RUnet을 제안한다.
• 다중 단계에서 반복적으로 특징 표현을 정교화하는 순환 판별자(디스criminator)를 사용하여 인간의 시각 인지 방식을 모방함으로써 특징 학습을 향상시킨다.
• 분할 손실과 적대적 손실을 조합한 가중치 손실 함수를 사용하며, 하이퍼파ram터 α가 두 손실 간의 트레이드오프를 제어한다.
• 타겟 센서 이미지(정답 없음)의 특징를 소스 센서 이미지(정답 있음)의 특징로 정렬함으로써 무 supervision 도메인 적응을 수행한다.
• 특징 정렬을 순환적으로 적용하며, 판별자의 파라미터를 다중 반복(예: T=1, T=3) 동안 업데이트하여 점진적으로 특징 공간을 정교화한다.
• 분할을 위한 공유된 인코더-디코더 아키텍처를 사용하며, 적대적 모듈은 버티컬 특징에서 도메인 간 강인성을 강제한다.

실험 결과

연구 질문

• RQ1 새로운 지문 센서에서 해당 센서의 수동으로 레이블링된 정답이 없이도 딥 러닝 모델이 높은 지문 ROI 분할 성능을 달성할 수 있는가?
• RQ2 단일 단계 적대적 적응과 비교해 복수 단계 반복적 적대적 학습이 특징 정렬 및 분할 성능 향상에 기여하는가?
• RQ3 분할 손실과 적대적 손실을 균형 잡는 데 사용되는 하이퍼파ram터 α의 선택이 최종 분할 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 교차 센서 지문 ROI 분할에서 수동 레이블링의 필요성을 얼마나 줄이는가?
• RQ5 순환 정교화 메커니즘이 분할 출력의 경계 정밀도와 활성화 패턴을 향상시키는가?

주요 결과

• RA-RUnet은 2000DB3에서 92.48%, 2002DB1에서 95.77%, 2004DB1에서 97.75%의 Dice 스코어를 기록하며, 새로운 센서에서의 기준 RUnet 및 최신 기술 수준의 모델보다 뛰어난 성능을 보였다.
• T=3 순환 반복을 사용한 모델(RA-RUnet with T=3)이 9개 데이터베이스 중 5개에서 T=1보다 뛰어난 성능을 보이며, 순환 정교화가 분할 성능 향상에 기여함을 입증했다.
• α=1일 때 최적의 성능가 달성되었으며, 이는 적대적 손실이 분할 성능 저하 없이 충분히 기여함을 의미한다; α가 더 높을 경우(예: α=5) 분할 정확도가 감소했다.
• RA-RUnet(T=3)은 2004DB2에서 Jaccard 유사도 스코어 88.68%, 2004DB3에서 89.72%를 기록하여 도전적인 데이터베이스에서 뛰어난 성능을 보였다.
• 시각화 결과는 제안된 방법이 특히 노이즈가 많거나 대trast가 낮은 영역에서 특징 활성화 및 경계 구분을 향상시킴을 확인했다.
• 다양한 FVC 데이터베이스에서 타겟 센서에 대해 정답이 필요 없이 검증된 바와 같이, 수동 레이블링 의존도를 줄이며 0-샷 적응이 가능함을 입증했다.