[논문 리뷰] Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference

Abhishek Kumar, Prasanna Sattigeri외 1명|arXiv (Cornell University)|2017. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 83

한 줄 요약

논문은 GAN 생성 매니폴드를 이용해 분류기에 불변성을 주입하여 반지도 학습을 개선하고, 클래스-스위칭을 줄이기 위한 향상된 인코더(Augmented-BiGAN)를 도입하며, 특히 적은 수의 라벨 예제에서 성능이 향상됨을 보여준다.

ABSTRACT

Semi-supervised learning methods using Generative Adversarial Networks (GANs) have shown promising empirical success recently. Most of these methods use a shared discriminator/classifier which discriminates real examples from fake while also predicting the class label. Motivated by the ability of the GANs generator to capture the data manifold well, we propose to estimate the tangent space to the data manifold using GANs and employ it to inject invariances into the classifier. In the process, we propose enhancements over existing methods for learning the inverse mapping (i.e., the encoder) which greatly improves in terms of semantic similarity of the reconstructed sample with the input sample. We observe considerable empirical gains in semi-supervised learning over baselines, particularly in the cases when the number of labeled examples is low. We also provide insights into how fake examples influence the semi-supervised learning procedure.

연구 동기 및 목표

• GANs의 데이터 매니폴드를 활용해 분류기에 불변성을 주입하여 더 나은 반지도 학습을 달성하도록 동기를 부여한다.
• 데이터와 잠재 공간 사이를 안정적으로 매핑하고 의미상 근접한 재구성을 복원할 수 있도록 인코더–생성기–판별기 훈련 체계를 개발한다.
• GANs를 통해 데이터 매니폴드의 지배적 접선을 추정해 분류기 동작을 정규화한다.
• 재구성 샘플의 클래스-스위칭을 줄이고 인코더 훈련을 개선하기 위해 Augmented-BiGAN을 제안한다.
• 가짜 예제가 GAN 기반 반지도 학습에 미치는 영향을 실증적으로 조명한다.

제안 방법

• GANs를 g: Z -> X로 모델링하고 인코더 h의 야코비안 J_h(x)으로부터 J_x h를 이용해 지배적인 접선을 얻고 X 맵 M의 접선 공간 T_xM을 추정한다.
• BiGAN의 특징 매칭 손실로 제너레이터와 함께 역매핑(인코더 h)을 훈련시켜 x와 g(h(x))의 의미적 유사성을 개선한다.
• 판별기의 가짜 집합에 (h(x), g(h(x))) 쌍을 포함시키는 Augmented-BiGAN을 도입해 클래스-스위칭을 추가로 감소시킨다.
• h로부터 접선을 근사하는 저차원 비선형 매핑 p와 p-bar를 학습시켜 d_p 방향의 지배적 접선을 소수로 추정하는 작은 세트를 도출한다.
• Tangents Propagation(TangentProp)을 사용해 접선 방향의 민감도를 규제하는 정규화항(Jacobian 기반 정규화)을 통해 망 매개변수의 불변성을 분류기에 주입한다.
• 실무적으로 Real labeled 데이터와 unlabeled/fake 데이터를 이용해 semi-supervised 판별기를 학습시키고 제너레이터의 특징 매칭으로 학습의 안정을 도모한다.

실험 결과

연구 질문

• RQ1 GAN이 지역 데이터 매니폴트의 접선을 신뢰성 있게 추정하여 분류기에 불변성을 제공할 수 있는가?
• RQ2 real 이미지를 잠재 공간으로 매핑하는 인코더를 학습시키면 재구성의 의미적 일관성(x vs g(h(x)))이 향상되는가?
• RQ3 Augmented-BiGAN으로 추가 가짜 쌍 감독을 도입하면 재구성에서의 클래스-스위칭이 줄어드는가?
• RQ4 TangetProp 및 Jacobian-norm과 같은 접선 기반 규제가 반지도 GAN에서 특히 라벨이 적은 경우 성능을 향상시키는가?

주요 결과

• 생성기로부터 도출된 접선 방향을 이용해 불변성을 주입하면 반지도 학습에서 상당한 개선을 얻었고, 특히 적은 수의 라벨 예제에서 SVHN에서 큰 이점을 보였다.
• Augmented-BiGAN은 BiGAN보다 입력과 재구성 간의 의미적 정합이 더 좋아 클래스-스위칭을 감소시켰다.
• 생성기에 대한 특징 매칭 손실은 학습을 안정화시키고 재구성(x와 g(h(x)))의 의미적 유사성을 향상시킨다.
• 접선 기반 규제(TangentProp 및 Jacobian-norm)는 매니폴드 방향으로의 불변성을 강제하여 분류기의 강건성을 향상시킨다.
• 실험 결과 SVHN에서 CIFAR-10보다 더 큰 이득이 나타났으며, 접선을 더 정확히 추정하면 CIFAR-10에서도 더 큰 이득이 기대된다.