[논문 리뷰] Iris-GAN: Learning to Generate Realistic Iris Images Using Convolutional GAN

Shervin Minaee, AmirAli Abdolrashidi|arXiv (Cornell University)|2018. 12. 12.

Biometric Identification and Security참고 문헌 25인용 수 30

한 줄 요약

이 논문은 실제 고유한 황반대칭성의 복잡한 질감 분포를 모델링하여 매우 현실적인 황반 이미지를 생성할 수 있도록 학습하는 딥 컨volution 제너레이티브 적대적 네트워크(DC-GAN) 프레임워크인 Iris-GAN을 제안한다. CASIA-1000 및 IIT Delhi 황반 데이터베이스에서 훈련된 모델은 각각 FID 점수 42.1과 41.08을 기록하여 생성 샘플의 높은 이미지 품질과 다양성을 입증한다.

ABSTRACT

Generating iris images which look realistic is both an interesting and challenging problem. Most of the classical statistical models are not powerful enough to capture the complicated texture representation in iris images, and therefore fail to generate iris images which look realistic. In this work, we present a machine learning framework based on generative adversarial network (GAN), which is able to generate iris images sampled from a prior distribution (learned from a set of training images). We apply this framework to two popular iris databases, and generate images which look very realistic, and similar to the image distribution in those databases. Through experimental results, we show that the generated iris images have a good diversity, and are able to capture different part of the prior distribution.

연구 동기 및 목표

• 실제 황반 패턴에서 관찰되는 복잡한 질감과 구조적 변동성을 반영한 포토레알리스틱 황반 이미지를 생성하는 데 도전하는 것.
• 기존의 통계적 모델 및 수작업 특징 기반 방법이 황반 질감의 정교한 세부 사항을 모델링하지 못하는 한계를 극복하는 것.
• 실제 데이터셋에서 황반 이미지의 기저 데이터 분포를 학습할 수 있는 딥 러닝 기반의 제너레이티브 프레임워크를 개발하는 것.
• Frechet Inception Distance(FID)와 같은 정량적 지표를 사용하여 생성된 황반 이미지의 품질과 다양성 평가하기

제안 방법

• 배치 정규화와 Leaky ReLU 활성화 함수를 갖춘 다섯 개의 컨볼루션 레이어로 구성된 생성자와 판별자로 이루어진 딥 컨volution 제너레이티브 적대적 네트워크(DC-GAN) 아키텍처를 사용한다.
• 생성자는 표준 정규 분포 사전에서 유도된 랜덤 노이즈 벡터를 현실적인 황반 이미지로 매핑하도록 훈련하고, 판별자는 실제 이미지와 생성된 이미지를 구분하도록 훈련한다.
• 최소화 최대 손실 함수를 사용하여 GAN을 최적화한다: $\mathcal{L}_{GAN} = \mathbb{E}_{x\sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z\sim p_z(z)}[\log(1 - D(G(z)))]$.
• 정량적 평가를 위해 Inception-v3 네트워크의 pool3 레이어(2048차원 특징)를 사용하여 생성된 이미지의 품질과 분포 유사도를 FID 점수로 계산한다.
• 표준 DC-GAN 훈련 절차를 사용하여 CASIA-1000(200명의 주체) 및 IIT Delhi(224명의 주체)라는 두 가지 벤치마크 황반 데이터셋에 대해 별도의 모델을 훈련한다.
• 동일한 잠재 노이즈 벡터에서 여러 훈련 에포크 동안 이미지를 생성하여 훈련 진행 상황을 시각화하고 품질 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 DC-GAN 프레임워크는 실제 이미지와 시각적으로 구분되지 않는 현실적인 황반 이미지를 효과적으로 학습하고 생성할 수 있는가?
• RQ2 모델은 동공 크기, 눈썹 위치, 각막 반사 등의 변동성을 포함한 황반 질감의 다양성을 어느 정도 잘 포착할 수 있는가?
• RQ3 FID로 측정했을 때 생성된 분포는 실제 황반 데이터 분포와 얼마나 유사한가?
• RQ4 모델의 성능은 훈련 에포크가 진행되면서 일관되게 향상되는가? 또한 서로 다른 잠재 벡터에서 다양한 샘플을 생성할 수 있는가?
• RQ5 모델은 다양한 황반 데이터베이스 간에 일반화될 수 있으며, 미세 조정 없이도 높은 품질의 생성을 유지할 수 있는가?

주요 결과

• 제안된 Iris-GAN 모델은 CASIA-1000 및 IIT Delhi 데이터베이스의 실제 이미지와 매우 유사한 시각적 현실감을 지닌 황반 이미지를 성공적으로 생성한다.
• IIT Delhi 데이터셋에서 FID 점수 41.08, CASIA-1000 데이터셋에서 42.1을 기록하여 실제 데이터와 강한 분포 유사성을 보여준다.
• 동일한 잠재 벡터에서 시간이 지남에 따라 생성된 이미지들은 동공 크기, 눈썹 위치, 각막 반사 등의 특징에서 매우 높은 다양성을 보이며, 이는 시간에 따라 변화하는 질감의 다양성을 잘 반영하고 있음을 시사한다.
• 에포크 단위로 진행된 훈련 과정은 일관된 향상을 보이며, 훈련이 진행될수록 생성된 이미지가 더욱 현실적이며 세밀한 품질로 발전함을 보여준다.
• 판별자 및 생성자의 손실 곡선이 시간이 지남에 따라 안정화되며, 황반 질감의 복잡성에도 불구하고 효과적인 훈련 역학을 보여준다.
• 고품질의 다양성 있는 샘플 생성 능력은 황반 패턴의 기저 데이터 매니폴드를 효과적으로 학습하고 강력한 일반화 능력을 지닌다는 것을 시사한다.