[논문 리뷰] Adversarial Learning with Local Coordinate Coding

Jiezhang Cao, Yong Guo외 4명|arXiv (Cornell University)|2018. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 21

한 줄 요약

이 논문은 실제 데이터의 잠재 다양체에서 샘플링하기 위해 局소 좌표 인코딩(LCC)을 사용하는 생성 적대적 네트워크인 LCC-GANs를 제안한다. 이는 개선된 생성 성능를 위해 국소 기하학적 구조를 포착한다. 오토에인코더를 통해 데이터 기반의 잠재 분포를 학습하고 LCC 기반 샘플링을 적용함으로써, 저차원 입력에서도 뛰어난 일반화 성능를 달성하며, d=30일 때도 최신 SOTA GANs를 능가하고 d=100일 때는 성능을 유지하거나 초월한다.

ABSTRACT

Generative adversarial networks (GANs) aim to generate realistic data from some prior distribution (e.g., Gaussian noises). However, such prior distribution is often independent of real data and thus may lose semantic information (e.g., geometric structure or content in images) of data. In practice, the semantic information might be represented by some latent distribution learned from data, which, however, is hard to be used for sampling in GANs. In this paper, rather than sampling from the pre-defined prior distribution, we propose a Local Coordinate Coding (LCC) based sampling method to improve GANs. We derive a generalization bound for LCC based GANs and prove that a small dimensional input is sufficient to achieve good generalization. Extensive experiments on various real-world datasets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 표준 GANs가 독립적이고 사전 정의된 사전 분포(예: 정규분포)에 의존함으로써 의미적이고 기하학적 구조를 상실하는 한계를 해결하기 위해.
• 잠재 공간 내 국소 다양체 구조를 활용하여 더 의미 있고 다양한 샘플을 생성할 수 있는 샘플링 방법을 개발하기 위해.
• 잠재 다양체의 내재 차원과 GAN의 일반화 성능 간의 이론적 분석을 수행하기 위해.
• LCC 기반 샘플링을 사용할 경우, 낮은 차원의 잠재 공간(d=30 등)이 좋은 일반화 성능를 달성하는 데 충분한지 입증하기 위해.

제안 방법

• 실제 데이터를 저차원 잠재 다양체에 매핑하기 위해 오토에인코더를 훈련시어, 의미적 및 기하학적 구조를 유지한다.
• 국소 좌표 인코딩(LCC)을 적용하여, 잠재 다양체 상의 점을 기준점 집합과 적응형 가중치로 표현한다.
• LCC 기반 샘플링 방법은 근처의 기준점들과 학습된 계수를 조합하여 새로운 잠재 코드를 생성함으로써 국소적이고 구조 인식 가능한 샘플링을 가능하게 한다.
• 레베슈 측도 복잡도를 사용하여 일반화 경계를 유도하고, 판별기 오차와 내재 다양체 차원 간의 관계를 규명한다.
• LCC로 샘플링된 잠재 벡터를 사용하여 생성기의 적대적 훈련을 수행함으로써 데이터 무결성과 다양성을 향상시킨다.
• MS-SSIM 및 시각적 품질 비교를 통한 평가를 통해 MNIST, Oxford-102, LSUN, CelebA에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 LCC 기반 샘플링을 사용하여 데이터 기반의 잠재 다양체에서 샘플링할 경우, 기존의 표준 정규분포 사전에 비해 생성 이미지의 품질과 다양성이 향상되는가?
• RQ2 잠재 다양체의 내재 차원과 GAN의 일반화 성능 간의 관계는 어떠한가?
• RQ3 LCC 샘플링을 사용할 경우, 낮은 차원의 잠재 공간(d=30 등)이 높은 차원 공간(d=100 등)과 비교해도 우수하거나 동등한 성능를 달성할 수 있는가?
• RQ4 LCC 샘플링은 생성된 샘플에서 국소 구조와 의미적 내용을 표준 샘플링에 비해 더 잘 유지하는가?
• RQ5 제안된 방법은 훈련 샘플을 기억하지 않고도 새로운 데이터에 잘 일반화되는가?

주요 결과

• 모든 데이터셋에서 MS-SSIM 측정 기준으로 LCC-GANs(d=30)가 Progressive GANs(d=100)를 모두 능가한다.
• CelebA에서 LCC-GANs는 d=30일 때 MS-SSIM 0.305를 기록하여, d=100일 때 Progressive GANs(0.308)와 WGANs(0.324)를 모두 능가한다.
• 고정된 기준점 집합에서 샘플링함에도 불구하고 MNIST에서 다양한 방향과 스타일을 가진 선명한 숫자를 생성한다.
• 시각적 비교 결과, 생성된 이미지가 훈련 세트의 실제 이미지와 의미적으로 유사함을 보여주며, 기억된 훈련 샘플이 아닌 일반화된 결과임을 시사한다.
• 이론적 분석을 통해 낮은 차원의 입력이 내재 다양체의 차원에 따라 제한된 성능 범위 내에서 좋은 일반화 성능를 달성하는 데 충분함을 증명한다.
• LCC 샘플링은 공통된 특징(예: 유사한 꽃의 형태나 얼굴 구조)을 공유하면서 색상이나 스타일은 다양하게 생성할 수 있도록 하여, 효과적인 국소 구조 활용을 확인한다.