[논문 리뷰] Detecting Overfitting of Deep Generative Networks via Latent Recovery

R. L. Webster, Julien Rabin외 2명|arXiv (Cornell University)|2019. 01. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 12

한 줄 요약

이 논문은 주어진 이미지를 재구성하는 데 가장 가까운 잠재 코드를 최적화하여 딥 생성 모델에서 과적합 여부를 탐지하기 위한 잠재 복구 방법을 제안한다. 유클리드 또는 인지적 손실을 사용해 LBFGS를 적용함으로써, 성공적인 복구는 기억화를 나타내며, GLO 및 CGAN과 같은 모델은 충분한 데이터가 있을 경우 과적합을 보이지 않음을 보여준다. 반면 생성된 이미지의 복구에 실패하면 복잡하고 비트리비얼한 잠재 공간과 국소 최소값이 존재함을 시사한다.

ABSTRACT

State of the art deep generative networks are capable of producing images with such incredible realism that they can be suspected of memorizing training images. It is why it is not uncommon to include visualizations of training set nearest neighbors, to suggest generated images are not simply memorized. We demonstrate this is not sufficient and motivates the need to study memorization/overfitting of deep generators with more scrutiny. This paper addresses this question by i) showing how simple losses are highly effective at reconstructing images for deep generators ii) analyzing the statistics of reconstruction errors when reconstructing training and validation images, which is the standard way to analyze overfitting in machine learning. Using this methodology, this paper shows that overfitting is not detectable in the pure GAN models proposed in the literature, in contrast with those using hybrid adversarial losses, which are amongst the most widely applied generative methods. The paper also shows that standard GAN evaluation metrics fail to capture memorization for some deep generators. Finally, the paper also shows how off-the-shelf GAN generators can be successfully applied to face inpainting and face super-resolution using the proposed reconstruction method, without hybrid adversarial losses.

연구 동기 및 목표

• DCGAN, VAE 등 딥 생성 모델에서 과적합 여부를 탐지하기 위해.
• 생성된 이미지나 진짜 이미지에서 잠재 코드를 복구하여 기억화 여부를 신뢰성 있게 식별하는 방법을 개발하기 위해.
• 다양한 최적화 알고리즘과 손실 함수에서 잠재 복구의 안정성과 수렴 성능을 평가하기 위해.
• 눈, 입과 같은 영역에서 국소 과적합이 발생하는지 분석하기 위해.
• 복구 성공률과 실패 유형을 정량화하며, 특히 높은 실패율을 보이는 MESCH 아키텍처에 초점을 맞추기 위해.

제안 방법

• 목표 이미지 y를 재구성하기 위해 잠재 코드 z를 최적화함으로써 복구를 수행하며, 목적 손실 ||G(z) - y||²를 최소화함. 여기서 G는 생성 모델이다.
• 지역 이미지 영역(예: 눈, 입)을 분리하기 위해 마스킹 연산자 φ를 사용하여 패치 수준의 복구 분석을 수행함.
• L2(유클리드), L1(맨하탄), VGG 기반 인지적 손실 등의 다양한 손실 함수 간 복구 성능을 비교함.
• 성공적인 복구를 정의하기 위해 임계값을 적용함(생성된 이미지의 경우 MSE < 0.025, 진짜 이미지의 경우 < 0.1).
• LBFGS, SGD, Adam 간 최적화 안정성을 비교하기 위해 100회 반복 동안 중앙값 복구 오차(MRE)의 수렴 곡선을 분석함.
• 각 이미지당 최적화를 10회 재시작하여, 특히 MESCH와 같이 안정성이 떨어지는 아키텍처에서 나쁜 초기화로 인한 실패를 평가함.

Figure 1: Visual results on training images recovery with a masking operator on right eyes (using LBFGS and Euclidean objective loss, and PGGAN generator). First row: target (real) images $y_{i}$ . First column: initialization. Second column: optimization after 100 iterations. Recovery is more consi

실험 결과

연구 질문

• RQ1 MNIST 및 CIFAR-10에서 DCGAN, GLO, CGAN 등의 딥 생성 모델에서 잠재 복구가 기억화를 탐지할 수 있는가?
• RQ2 전반적인 과적합이 없더라도 눈, 입과 같은 영역에서 국소 과적합이 발생하는가?
• RQ3 L2, L1, 인지적 손실 등의 다양한 손실 함수가 잠재 복구의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ4 PGGAN이 LSUN Bedroom에서 자신의 생성 이미지를 복구하지 못하는 이유는 무엇인가?
• RQ5 나쁜 초기화가 복구 실패에 얼마나 기여하는가? 그리고 재시작이 이를 완화할 수 있는가?

주요 결과

• MNIST 및 CIFAR-10에서 GLO 및 CGAN 모델은 감지 가능한 기억화가 없음을 보였으며(GLO-1024의 KS p-value = 0.00e+00), 이는 충분한 데이터가 있을 경우 과적합이 발생하지 않음을 시사한다.
• PGGAN를 사용한 눈과 입 패치의 국소 복구 분석에서 KS p-value는 각각 0.0545 및 0.6918로, 국소 과적합은 최소한의 수준임을 시사한다.
• 인지적 손실(VGG-19)은 고품질 생성기에서 최적화 안정성을 저하시켜 L2 손실보다 수렴 속도가 느리고 복구 성능이 열 劣하다.
• MESCH 생성기의 복구 성공률은 낮게 68%이지만, 10회 랜덤 재시작을 통해 98%로 크게 향상되어, 실패 원인이 모델의 능력 부족가 아니라 초기화 문제임을 시사한다.
• LBFGS는 SGD 및 Adam보다 수렴 속도가 빠르며, 대부분의 경우 50회 이내에 MRE < 0.024에 도달한다.
• 생성 이미지의 복구 실패(예: LSUN Bedroom에서의 PGGAN)는 단순히 최적화 문제를 넘어서, 많은 국소 최소값을 포함한 복잡한 잠재 다양체가 존재함을 시사한다.

(a) Eye patch recovery error.