[논문 리뷰] How Does GAN-based Semi-supervised Learning Work?

Xuejiao Liu, Xueshuang Xiang|arXiv (Cornell University)|2020. 07. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 6

한 줄 요약

이 논문은 GAN 기반 준지도 학습(GAN-SSL)에 대한 이론적 분석을 제공하며, 불완전한 생성자에 기반해도 GAN-SSL의 최소최대 최적화가 레이블이 있는 데이터와 레이블이 없는 데이터 양쪽에서 완벽한 판별자로 이어진다는 것을 보여준다. 주요 기여는 생성자가 진정한 데이터 분포를 완벽하게 모델링하지 못하더라도, 레이블이 없는 데이터를 통해 판별자의 일반화 성능을 효과적으로 향상시킬 수 있다는 점이다.

ABSTRACT

Generative adversarial networks (GANs) have been widely used and have achieved competitive results in semi-supervised learning. This paper theoretically analyzes how GAN-based semi-supervised learning (GAN-SSL) works. We first prove that, given a fixed generator, optimizing the discriminator of GAN-SSL is equivalent to optimizing that of supervised learning. Thus, the optimal discriminator in GAN-SSL is expected to be perfect on labeled data. Then, if the perfect discriminator can further cause the optimization objective to reach its theoretical maximum, the optimal generator will match the true data distribution. Since it is impossible to reach the theoretical maximum in practice, one cannot expect to obtain a perfect generator for generating data, which is apparently different from the objective of GANs. Furthermore, if the labeled data can traverse all connected subdomains of the data manifold, which is reasonable in semi-supervised classification, we additionally expect the optimal discriminator in GAN-SSL to also be perfect on unlabeled data. In conclusion, the minimax optimization in GAN-SSL will theoretically output a perfect discriminator on both labeled and unlabeled data by unexpectedly learning an imperfect generator, i.e., GAN-SSL can effectively improve the generalization ability of the discriminator by leveraging unlabeled information.

연구 동기 및 목표

• 생성자가 데이터 분포를 완벽하게 모델링하지 못함에도 불구하고 GAN 기반 준지도 학습(GAN-SSL)이 어떻게 향상된 성능을 달성하는지 이론적으로 이해하는 것.
• 고정된 생성자 조건 하에서 GAN-SSL의 최적 판별자와 지도 학습의 최적 판별자 간의 관계를 명확히 하는 것.
• GAN-SSL의 최적 판별자가 레이블이 있는 데이터와 레이블이 없는 데이터 양쪽에서 완벽한 성능을 내는 조건을 규명하는 것.
• 이전 연구에서 제기한 '나쁜 생성자'가 좋은 SSL 성능을 내는 데 필수적이라는 주장을 도전하며, 더 엄밀한 이론적 분석을 제공하는 것.
• GAN-SSL의 이론적 보장을 위해 필요한 핵심 가정—특히 데이터 다각형의 구조에 대한 가정—을 규명하고 정당화하는 것.

제안 방법

• 고정된 생성자에 대해 GAN-SSL 판별자 최적화가 지도 학습 목표와 동일하다는 것을 증명함으로써, 최적 판별자는 레이블이 있는 데이터에 대해 완벽할 것으로 기대됨을 시사한다.
• GAN-SSL에서 생성자의 목표를 $-KL(p||p - \epsilon p_G) + 2JS(p||p_G)$의 조합으로 최소화하는 것으로 분석함. 여기서 $\epsilon$ 은 이론적 최대치에서의 판별자 오차를 측정한다.
• 최적 판별자가 이론적 최대치에 도달할 경우($\epsilon = 0$), 생성자 목표가 $JS(p||p_G)$의 최소화로 줄어들며, 이는 완벽한 생성자를 의미한다.
• 가정 1(3)을 도입하고 정당화함: 레이블이 있는 데이터는 데이터 다각형의 모든 연결된 부분영역을 거쳐야 하며, 이는 레이블이 없는 데이터에 대한 완벽한 일반화를 가능하게 한다.
• 합성 이진 분류 실험을 통해 가정 1(3)의 필요성을 실증적으로 검증함. 부분영역에서 레이블이 없는 데이터가 누락되면 레이블이 없는 데이터에 대한 예측이 불확실해짐을 보여줌.
• 기존 연구([4] 등)와의 가정을 대비하여, '보완 생성자'가 필요하다는 요구 조건은 과도하게 강력하며, 선형 표현 가능한 가짜 특징의 존재로 약화시킬 수 있음을 보여줌.

실험 결과

연구 질문

• RQ1 생성자가 고정되어 있을 때, GAN-SSL의 최적 판별자는 지도 학습의 최적 판별자와 어떻게 관련이 있는가?
• RQ2 GAN-SSL의 최적 판별자가 레이블이 있는 데이터와 레이블이 없는 데이터 양쪽에서 완벽한 성능을 내는 조건는 무엇인가?
• RQ3 이전 연구에서 주장한 바와 같이, 효과적인 준지도 학습을 위해 '나쁜 생성자'가 진정으로 필수적인가?
• RQ4 GAN-SSL의 이론적 성공을 위해 데이터 다각형에 어떤 구조적 가정이 필요한가?
• RQ5 이론적 보장을 유지하면서도 '보완 생성자' 요구 조건을 완화시킬 수 있는가?

주요 결과

• 고정된 생성자에 대해 GAN-SSL 판별자 최적화는 지도 학습 목표와 동일하므로, 최적 판별자는 모든 레이블이 있는 데이터에 대해 완벽할 것으로 기대된다.
• 실제로 GAN-SSL의 최적 생성자는 불완전하다. 이는 판별자 목표의 이론적 최대치에 도달할 수 없기 때문이며, 따라서 $\epsilon > 0$ 이다.
• 최적 판별자가 이론적 최대치에 도달할 경우($\epsilon = 0$), 생성자 목표는 $JS(p||p_G)$의 최소화로 줄어들며, 이는 완벽한 생성자를 의미한다.
• 레이블이 있는 데이터가 데이터 다각형의 모든 연결된 부분영역을 포함할 경우(가정 1(3)), GAN-SSL의 최적 판별자는 레이블이 없는 데이터에 대해서도 완벽한 성능을 낼 수 있다.
• 이전 연구에서 주장한 바와 같이 GAN-SSL의 최적 생성자는 '나쁘지 않다'; 오히려 불완전하지만 성능에 대비하여 적대적이지 않다.
• 합성 실험을 통해 특정 부분영역에서 레이블이 없는 데이터가 누락되면 레이블이 없는 데이터에 대한 일반화 성능이 떨어지며, 이는 가정 1(3)의 필요성을 검증한다.