[논문 리뷰] Semi-Supervised Learning with GANs: Revisiting Manifold Regularization

Bruno Lecouat, Chuan-Sheng Foo외 2명|arXiv (Cornell University)|2018. 05. 23.

Advanced Vision and Imaging인용 수 14

한 줄 요약

이 논문은 몬테 카를로 방법을 통해 라플라시안 노름을 추정함으로써 다양체 정규화를 근사하는 GAN을 활용하여, 간단하고 효율적인 반감독 학습 방법을 제안한다. 특성 매칭 GAN의 판별자에 제약 조건을 적용함으로써, CIFAR-10(14.45% 오차)에서 최신 기술 수준의 성능을 달성하고, 이전의 GAN 기반 방법들에 비해 훨씬 간소화된 구현으로 SVHN에서도 경쟁 가능한 성능을 보였다.

ABSTRACT

GANS are powerful generative models that are able to model the manifold of natural images. We leverage this property to perform manifold regularization by approximating the Laplacian norm using a Monte Carlo approximation that is easily computed with the GAN. When incorporated into the feature-matching GAN of Improved GAN, we achieve state-of-the-art results for GAN-based semi-supervised learning on the CIFAR-10 dataset, with a method that is significantly easier to implement than competing methods.

연구 동기 및 목표

• GAN이 데이터 다양체를 모델링할 수 있는 능력을 활용하여, GAN 기반 반감독 학습을 단순화하고 향상시키기.
• 명시적인 탄젠트 벡터 계산 없이도 깊은 신경망에서 다양체 정규화를 효율적으로 추정하는 문제 해결하기.
• 복잡한 연산(예: 잠재 코드 최적화 또는 보조 네트워크)을 피하면서도 효과적이고 쉽게 구현 가능한 방법 개발하기.
• 최소한의 아키텍처 및 학습 수정으로 기준 데이터셋에서 최신 기술 수준의 성능 달성하기.
• 대조 학습 중 제약 조건의 자코비안과 생성자 간의 상호작용 탐구하기.

제안 방법

• GAN의 잠재 공간에서 몬테 카를로 샘플링을 통해 분류기의 라플라시안 노름을 근사함으로써, 데이터 다양체 위의 명시적 탄젠트 벡터가 필요 없도록 함.
• 생성자에 대한 잠재 코드에 대한 자코비안을 다양체 기울기의 대체 측정으로 사용하여, 확률적 유한 차분을 통해 효율적인 계산 가능하게 함.
• 제약 조건은 자코비안의 프로베니우스 노름으로 정의되며, $ \frac{1}{n} \sum_{i=1}^{n} \| J_z f(g(z^{(i)})) \|^2_F $ 로 표현되며, 작은 무작위 편향 $ \epsilon \bar{\delta} $ 를 사용해 근사함.
• Salimans 등(2016)의 특성 매칭 GAN 목표 함수에 정규화를 통합함으로써, 판별자 손실만 수정함.
• 입력 데이터 포인트에 대한 명시적 정규화를 피함으로써, 잠재 코드 추론이 필요한 방법들에 비해 구현이 간소화됨.
• 초기화 파rameter들(예: $ \epsilon $)은 검증 세트에서 튜닝되며, 이는 대규모 비라벨 데이터셋에 대해 효율적으로 스케일링됨.

실험 결과

연구 질문

• RQ1 GAN을 활용하여 잠재 공간의 몬테 카를로 샘플링을 통해 다양체 정규화를 효율적으로 근사할 수 있는가?
• RQ2 확률적 유한 차분을 통한 자코비안 기반 정규화가 학습 복잡도를 증가시키지 않으면서도 반감독 GAN의 일반화 성능을 향상시키는가?
• RQ3 최신 기술 수준의 GAN 기반 반감독 학습 접근법과 비교했을 때, 이 방법은 성능과 구현 용이성 측면에서 어떻게 다른가?
• RQ4 제약 조건이 백프로파게이션은 판별자에만 적용되지만, 대조 학습 중 생성자에 미치는 영향은 어떠한가?
• RQ5 이 방법은 아키텍처 수정을 최소화하면서도 CIFAR-10과 SVHN과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 4,000개의 라벨 데이터를 가진 CIFAR-10에서 테스트 오차율 14.45% ± 0.21을 기록하여, 이전의 모든 GAN 기반 방법들을 능가함.
• 1,000개의 라벨 데이터를 가진 SVHN에서는 오차율 4.51% ± 0.22를 기록하여 최신 기술 수준의 접근법과 경쟁 가능함.
• 기본 특성 매칭 GAN(이하 '개선된 GAN'으로 지칭)의 구현이 원래 버전보다 우수했으며, 이는 GAN이 초기화 파rameter에 매우 민감함을 시사함.
• 다양체 정규화 추가로 인해 CIFAR-10에서는 1% 이상, SVHN에서는 거의 1% 이상 오차가 감소하여 일관된 성능 향상 확인됨.
• BadGAN과 같이 허위 레이블링을 위해 PixelCNN을 훈련해야 하는 최신 기술 수준의 대안들에 비해 훨씬 간소하게 구현 가능함.
• 간접적인 영향에도 불구하고 생성자가 생성한 샘플은 자연스럽게 유지되어, 이 방법이 GAN의 학습 동역학을 심각하게 교란하지 않는다는 점을 시사함.