[논문 리뷰] Palm-GAN: Generating Realistic Palmprint Images Using Total-Variation Regularized GAN

Shervin Minaee, Mehdi Minaei외 1명|arXiv (Cornell University)|2020. 03. 21.

AI in cancer detection참고 문헌 38인용 수 7

한 줄 요약

이 논문은 총변동(Total Variation, TV) 정규화를 갖춘 조건부 GAN 프레임워크인 Palm-GAN을 제안하여 매우 현실적인 박물주름 이미지를 생성한다. TV 손실을 통해 선의 연결성을 강제함으로써, 모델은 다양하고 사진처럼 사실적인 박물주름을 생성하며, 실제 데이터와 매우 유사하게 나타나며, PolyU 데이터셋에서 FID 점수 46.3을 기록한다.

ABSTRACT

Generating realistic palmprint (more generally biometric) images has always been an interesting and, at the same time, challenging problem. Classical statistical models fail to generate realistic-looking palmprint images, as they are not powerful enough to capture the complicated texture representation of palmprint images. In this work, we present a deep learning framework based on generative adversarial networks (GAN), which is able to generate realistic palmprint images. To help the model learn more realistic images, we proposed to add a suitable regularization to the loss function, which imposes the line connectivity of generated palmprint images. This is very desirable for palmprints, as the principal lines in palm are usually connected. We apply this framework to a popular palmprint databases, and generate images which look very realistic, and similar to the samples in this database. Through experimental results, we show that the generated palmprint images look very realistic, have a good diversity, and are able to capture different parts of the prior distribution. We also report the Frechet Inception distance (FID) of the proposed model, and show that our model is able to achieve really good quantitative performance in terms of FID score.

연구 동기 및 목표

• 실제 이미지와 구별하기 어려운 사진처럼 사실적인 박물주름 이미지를 생성하는 데 도전하는 것.
• 복잡한 박물주름 무늬 패턴을 포착하는 데 한계가 있는 전통적 통계 모델의 문제를 해결하는 것.
• 주요 선의 연결성을 강제하여 생성된 박물주름의 현실성과 구조적 정밀도를 향상시키는 것.
• 실제 배포에 적합한 경량 GAN 아키텍처를 CPU에서 학습할 수 있도록 개발하는 것.
• 정성적 시각적 분석과 정량적 FID 점수를 모두 활용하여 모델 성능을 평가하는 것.

제안 방법

• 박물주름 이미지 생성을 위한 총변동(TV) 정규화된 딥 컨volution 신경망 GAN(DC-GAN)을 제안한다.
• 생성된 이미지의 TV 노름을 포함한 수정된 GAN 손실 함수를 도입하여 주요 선의 연결성을 향상시킨다.
• 5층의 생성자 및 구분자 아키텍처를 사용하여 GPU 없이도 CPU에서 학습이 가능하도록 한다.
• 이미지 크기를 64×64로 조정하여 빠른 학습을 위해 PolyU 다중스펙트럼 박물주름 데이터셋에서 모델을 학습시킨다.
• 다양한 박물주름 샘플을 생성하기 위해 가우시안 사전에서 유도된 잠재 노이즈를 샘플링한다.
• 실제 및 생성된 특징 분포 간의 유사도를 평가하기 위해 프리셰트 인ception 거리(Frechet Inception Distance, FID)를 사용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 실제 이미지와 시각적으로 구별하기 어려운 박물주름 이미지를 생성할 수 있는가?
• RQ2 총변동 정규화를 통합함으로써 생성된 박물주름의 구조적 현실성이 향상되는가?
• RQ3 제안된 모델은 박물주름 데이터에 대해 기존 최고 수준의 생성 모델과 정량적으로 어떻게 비교되는가?
• RQ4 모델이 얼마나 높은 다양성을 유지하고 실제 박물주름 무늬의 사전 분포를 잘 포착하는가?
• RQ5 최소한의 컴퓨팅 자원으로 CPU에서 효과적으로 학습이 가능한가?

주요 결과

• 제안된 Palm-GAN 모델은 PolyU 데이터셋의 실제 샘플과 시각적으로 구별하기 어려운 매우 현실적인 박물주름 이미지를 생성한다.
• 총변동 정규화를 추가함으로써 주요 선의 연결성이 크게 향상되어 구조적 현실성이 향상된다.
• 모델은 프리셰트 인ception 거리(Frechet Inception Distance, FID) 점수 46.3을 기록하여 PolyU 데이터셋에서 강력한 정량적 성능을 보였다.
• 다양한 잠재 노이즈 입력에 따라 선의 위치, 대비, 색상 분포 측면에서 높은 다양성이 관찰된다.
• 생성자 및 구분자 손실 곡선은 안정적인 학습 동역학을 보이며, 100 에포크 동안 생성자 손실은 감소하고 구분자 손실은 안정화된다.
• 모델는 계산적으로 효율적이며, 5층 아키텍처로 CPU에서 학습이 가능하여 자원이 제한된 환경에 적합하다.