[논문 리뷰] Global versus Localized Generative Adversarial Nets

Guo-Jun Qi, Liheng Zhang외 4명|arXiv (Cornell University)|2017. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 3

한 줄 요약

이 논문은 국소 좌표 차트를 사용하여 데이터 다양체를 모델링하는 국소적 생성 적대적 네트워크(LGAN)를 제안한다. 이는 국소 기하학적 성질에 직접 접근할 수 있도록 하며, 탄성 벡터에 대한 정규직교 제약 조건을 통해 모드 붕괴를 완화한다. LGAN은 이미지 생성 및 준지도 학습 분류에서 최신 기준 성능을 달성하며, 4,000개의 레이블된 예제를 사용해 CIFAR-10에서 9.77%의 오차율을 기록한다.

ABSTRACT

In this paper, we present a novel localized Generative Adversarial Net (GAN) to learn on the manifold of real data. Compared with the classic GAN that {\em globally} parameterizes a manifold, the Localized GAN (LGAN) uses local coordinate charts to parameterize distinct local geometry of how data points can transform at different locations on the manifold. Specifically, around each point there exists a {\em local} generator that can produce data following diverse patterns of transformations on the manifold. The locality nature of LGAN enables local generators to adapt to and directly access the local geometry without need to invert the generator in a global GAN. Furthermore, it can prevent the manifold from being locally collapsed to a dimensionally deficient tangent subspace by imposing an orthonormality prior between tangents. This provides a geometric approach to alleviating mode collapse at least locally on the manifold by imposing independence between data transformations in different tangent directions. We will also demonstrate the LGAN can be applied to train a robust classifier that prefers locally consistent classification decisions on the manifold, and the resultant regularizer is closely related with the Laplace-Beltrami operator. Our experiments show that the proposed LGANs can not only produce diverse image transformations, but also deliver superior classification performances.

연구 동기 및 목표

• 복잡하고 비선형적인 데이터 다양체를 다양한 국소 변환을 수반해 모델링하는 데에 한계가 있는 전역 GAN의 문제점을 해결하기 위해.
• 생성자 네트워크의 역행이 필요 없이도 국소 기하학적 성질(예: 탄성 벡터 및 곡률)에 직접 접근할 수 있도록 하기 위해.
• 탄성 벡터에 대한 정규직교 제약 조건을 통해 국소 다양체 붕괴를 방지하고, 전체 차원의 변동성을 유지하기 위해.
• 그래프 기반 근사치에 의존하지 않고 라플라스-베르트라미 연산자와 관련된 기하학적 사전 지식을 바탕으로 한 국소적으로 일관된 분류기를 개발하기 위해.
• 이미지 생성 및 준지도 학습 분류 과제에서 뛰어난 성능을 보여주기 위해.

제안 방법

• LGAN은 각 데이터 포인트 $\mathbf{x}$ 중심의 국소 좌표 차트로 파arameter화된 국소 생성자 $G(\mathbf{x}, \mathbf{z})$를 사용하여 국소적 데이터 변환 모델링을 가능하게 한다.
• 각 국소 생성자는 데이터 다양체 상의 특정 점 주변의 이웃 영역 내에서 작동하며, 겹치는 영역에서 생성된 데이터가 유기적으로 연결되도록 한다.
• 국소 생성자의 야코비안에 정규직교 제약 조건을 도입하여 탄성 벡터가 전체 차원 공간을 차지하도록 보장함으로써 국소 차원 부족 현상을 방지한다.
• 생성자 네트워크의 역행이 필요 없도록 각 데이터 포인트를 직접 해당 국소 생성자와 연결함으로써, 점 수준에서 직접 기하학적 분석이 가능해진다.
• 정규직교 제약 조건에서 유도된 국소 기하학적 정규화 항은 그래프 기반 다양체 근사치에 의존하지 않더라도 라플라스-베르트라미 연산자 기반 정규화와 수학적으로 동일하다.
• 이 프레임워크는 다양체의 접선 방향으로의 변형에 대해 강건한 국소적으로 일관된 분류기를 훈련할 수 있도록 지원하며, CIFAR-10 및 CIFAR-100에서 성능이 검증되었다.

실험 결과

연구 질문

• RQ1 국소 좌표 차트는 복잡한 데이터 다양체를 모델링하는 데 있어 전역 파arameterization에 비해 더 효과적이고 기하학적으로 일관된 대안이 될 수 있는가?
• RQ2 생성자 네트워크의 역행 없이 국소 기하학적 성질(예: 탄성 벡터 및 곡률)을 어떻게 직접 접근할 수 있는가?
• RQ3 국소 탄성 벡터에 정규직교 제약 조건을 적용할 경우, 국소 다양체 붕괴를 얼마나 효과적으로 방지하고 모드 다양성을 향상시킬 수 있는가?
• RQ4 정규직교 제약 조건에서 유도된 기하학적 정규화 항을 사용해 다양체에 따라 정렬된 변형에 강건한 분류기를 훈련시킬 수 있는가?
• RQ5 제안된 LGAN 프레임워크는 이미지 생성 및 준지도 학습 분류 과제에서 최신 기준 성능을 달성하는가?

주요 결과

• LGAN은 단지 4,000개의 레이블된 예제만을 사용해 CIFAR-10에서 테스트 오차율 9.77%를 기록하며, 이전 최신 기준 방법인 VAT 및 Pi-Model을 능가한다.
• 10,000개의 레이블된 예제를 사용한 CIFAR-100에서는 LGAN이 테스트 오차율 35.52%를 기록하며, 비교된 모든 준지도 학습 기반 보조 방법을 능가한다.
• 국소 탄성 벡터에 대한 정규직교 제약 조건이 효과적으로 국소 다양체 붕괴를 방지하며, 다양한 방향으로 전체 차원의 데이터 변동성을 유지한다.
• LGAN의 국소 기하학적 정규화 항은 그래프 기반 근사치에 의존하지 않더라도 라플라스-베르트라미 연산자 기반 정규화와 수학적으로 동일하다.
• 이 방법은 생성자 네트워크의 역행이 필요 없이 국소 기하학적 특징(예: 탄성 벡터 및 곡률)에 직접 접근할 수 있도록 한다.
• LGAN은 기저 다양체 구조와 일치하는 다양한 이미지 변환을 생성하며, 더 뛰어난 샘플 다양성과 품질을 보여준다.