[논문 리뷰] Deep End-to-end Fingerprint Denoising and Inpainting

Youness Mansar|arXiv (Cornell University)|2018. 07. 31.

Digital Media Forensic Detection참고 문헌 4인용 수 4

한 줄 요약

이 논문은 U-Net 유사 컨볼루션 신경망을 사용한 엔드 투 엔드 딥 러닝 접근법을 제시하며, 합성 지문 이미지의 노이즈 제거와 인painting을 수행하여 Chalearn LAP In-painting 경쟁 대회 트랙 3에서 최고 성능을 기록하였다. 이 방법은 데이터 증강, 적응형 학습률 스케줄링, 스킵 커넥션을 활용하여 MAE, PSNR, SSIM 지표에서 모든 경쟁자들을 능가하였다.

ABSTRACT

This work describes our winning solution for the Chalearn LAP In-painting Competition Track 3 - Fingerprint Denoising and In-painting. The objective of this competition is to reduce noise, remove the background pattern and replace missing parts of fingerprint images in order to simplify the verification made by humans or third-party software. In this paper, we use a U-Net like CNN model that performs all those steps end-to-end after being trained on the competition data in a fully supervised way. This architecture and training procedure achieved the best results on all three metrics of the competition.

연구 동기 및 목표

• 손상된 지문 이미지를 동시에 노이즈 제거하고 인painting할 수 있는 강력한 엔드 투 엔드 딥 러닝 모델을 개발하기.
• 이미지 전처리를 통한 지문 인식 정확도 향상을 위해 오류 수용률과 기각률을 감소시키기.
• 지문 이미지에서 발생하는 블러, 가림, 노이즈, 배경 패턴 등의 합성 왜곡에 의해 발생하는 과제를 해결하기.
• 스킵 커넥션과 데이터 증강과 같은 아키텍처 구성 요소가 완전히 감독 학습 설정에서 성능에 미치는 영향을 평가하기.
• CNN 기반 접근법이 지문 복원 작업을 넘어 이미지 세그멘테이션 과제를 넘어서 일반화 잠재력을 보여주는가를 입증하기.

제안 방법

• 스킵 커넥션을 통해 공간적 세부 정보를 유지하고 기울기 소실 문제를 완화하기 위해 U-Net 유사 인코더-디코더 컨볼루션 신경망을 사용한다.
• 입력 이미지는 [0,1] 범위로 정규화되고, 16(2^4)의 배수인 치수로 리사이징되어 최대 pooling 레이어를 수용하도록 한다.
• 데이터 증강은 훈련 중에만 적용되며, 무작위 플립, 시어, 이동, 줌, 대비/포화도 변화, 그리고 회전을 포함한다.
• 학습은 Adam 옵timizer를 사용하며, 초기 학습률은 1e-4로 설정하고, 검증 손실이 3 에포크 동안 정체되면 0.5 배수로 감소시킨다.
• 출력 이미지는 [0,255] 범위로 min-max 스케일링을 하고, 원래 입력 치수로 다시 리사이징된 후 제출된다.
• 손실 함수는 평균 절대 오차(MAE) 기반으로, 훈련 중 PSNR 및 SSIM에 대한 강력한 대체 손실로 기능한다.

실험 결과

연구 질문

• RQ1 특수 작업 전처리 없이도 단일 엔드 투 엔드 딥 러닝 모델이 지문 이미지에서 노이즈 제거와 인painting을 동시에 효과적으로 처리할 수 있는가?
• RQ2 스킵 커넥션과 데이터 증강과 같은 아키텍처 구성 요소가 합성 지문 복원에서 성능에 미치는 영향은 어떠한가?
• RQ3 적응형 학습률 스케줄링이 수렴성과 최종 지표 성능 향상에 얼마나 기여하는가?
• RQ4 단지 합성 데이터로만 훈련한 모델이 실세계 지문 이미지 복원에 일반화되는가?
• RQ5 MAE 손실만으로도 PSNR 및 SSIM에서 우수한 성능을 낼 수 있는가? 이는 MAE가 지문 이미지 품질에 대한 효과적인 대체 손실로 적합한가?

주요 결과

• 제안된 모델은 테스트 세트에서 모든 세 가지 경쟁 지표에서 최고 성능을 기록하였으며, MAE는 0.0189, PSNR는 17.6968, SSIM는 0.8427을 기록하였다.
• 아블레이션 스터디 결과, 학습률 감소가 성능 향상에 가장 큰 기여를 하였고, 데이터 증강은 최소한의 영향을 미쳤다.
• 스킵 커넥션을 제거하면 성능이 극적으로 악화되어 MAE는 0.7282로 상승하고 SSIM는 0.0001로 급격히 하락하였다.
• 사전 훈련된 VGG 인코더를 사용하면 결과가 약간 향상되어 MAE는 0.0225로 감소하고 SSIM는 0.8142로 상승하였다.
• 손실 함수에 MAE만을 사용했음에도 불구하고, 모델은 PSNR 및 SSIM로도 잘 일반화되었으며, 이는 MAE가 효과적인 대체 손실로 기능함을 시사한다.
• 모든 지표에서 딜레이티드 컨볼루션을 사용한 모델(rgsl888)과 M-Net 아키텍처를 사용한 모델(sukeshadigav)을 포함한 다른 접근 방식들보다도 성능이 뛰어났다.