[논문 리뷰] Is Discriminator a Good Feature Extractor?

Xin Mao, Zhaoyu Su외 3명|arXiv (Cornell University)|2019. 12. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 10

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)의 판별기(discriminator)가 전이 학습을 위한 좋은 특징 추출기인지 여쭤본다. 선형 대수학적 분석을 통해 판별기의 특징 품질은 분류 작업 때문이 아니라 GAN 학습 중 모드 붕괴를 방지하는 역할에서 기인함을 보여주며, 이는 소음에 강건한 특징을 만들어낸다. 연구 결과, 소스와 타겟 작업이 유사할 경우 일반적으로 분류기 기반 특징 추출기가 판별기 기반 특징 추출기보다 성능이 뛰어나지만, 판별기가 소음 억제 능력을 지닌다는 점에서 특정 상황에서는 대체할 수 없는 특성을 지닌다.

ABSTRACT

The discriminator from generative adversarial nets (GAN) has been used by researchers as a feature extractor in transfer learning and appeared worked well. However, there are also studies that believe this is the wrong research direction because intuitively the task of the discriminator focuses on separating the real samples from the generated ones, making features extracted in this way useless for most of the downstream tasks. To avoid this dilemma, we first conducted a thorough theoretical analysis of the relationship between the discriminator task and the features extracted. We found that the connection between the task of the discriminator and the feature is not as strong as was thought, for that the main factor restricting the feature learned by the discriminator is not the task, but is the need to prevent the entire GAN model from mode collapse during the training. From this perspective and combined with further analyses, we found that to avoid mode collapse, the features extracted by the discriminator are not guided to be different for the real samples, but divergence without noise is indeed allowed and occupies a large proportion of the feature space. This makes the features more robust and helps answer the question as to why the discriminator can succeed as a feature extractor in related research. Consequently, to expose the essence of the discriminator extractor as different from other extractors, we analyze the counterpart of the discriminator extractor, the classifier extractor that assigns the target samples to different categories. We found the performance of the discriminator extractor may be inferior to the classifier based extractor when the source classification task is similar to the target task, which is the common case, but the ability to avoid noise prevents the discriminator from being replaced by the classifier.

연구 동기 및 목표

• GAN 판별기가 실제 샘플과 생성된 샘플을 구분하는 데 주로 기여하지만, 전이 학습을 위한 효과적인 특징 추출기인지에 대한 논란을 해결하기 위해.
• 판별기 특징이 전이 학습에서 잘 일반화되는 배경 메커니즘을 분석하여, 작업 일치가 핵심 요인이라는 가정에 도전하기 위해.
• 특히 도메인 이동 상황에서, 판별기 기반 특징 추출기와 분류기 기반 특징 추출기의 성능과 강건성에 대해 비교하기 위해.
• 모드 붕괴를 방지하는 데 기여하는 특정 비율이 GAN 학습에서 어떻게 작용하는지 밝혀내어 기초적인 GAN 연구에 기여하기 위해.

제안 방법

• 판별기의 작업과 그가 학습하는 특징 간의 관계를 이론적으로 선형 대수학적으로 분석하기 위해.
• MNIST 및 CIFAR-10 데이터셋에서 공유 인코더 프레임워크를 사용하여 판별기와 분류기의 특징 추출기를 비교하기 위해.
• 소스 및 타겟 네트워크 간의 공유 레이어를 체계적으로 제거하여 특징 전이 성능에 미치는 영향을 평가하기 위해.
• 아키텍처 공유 정도를 다양하게 변화시켜 특징 강건성과 작업 일치도를 평가하기 위해.
• 특징 표현의 영공간(null space)을 분석하여 작업 전용 소음에 영향을 받지 않는 성분을 식별하기 위해.
• 모드 붕괴 방지를 위한 핵심 비율을 특정하여, GAN 학습 안정성 향상에 새로운 지표를 제안하기 위해.

실험 결과

연구 질문

• RQ1 특징 분리가 명시적으로 학습되지 않은 상태에서도 판별기 기반 특징이 왜 전이 학습에서 잘 작동하는가?
• RQ2 판별기가 모드 붕괴를 방지하는 데 기여하는 역할이 학습된 특징의 품질과 일반화 능력에 어떻게 영향을 주는가?
• RQ3 소스와 타겟 작업이 유사할 경우, 판별기 기반 특징 추출기의 성능은 분류기 기반 특징 추출기와 비교해 어떻게 되는가?
• RQ4 판별기 기반 특징 추출기 성공의 핵심 요소인 소음 강건성의 역할은 무엇이며, 왜 이는 대체할 수 없는가?
• RQ5 GAN 학습에서 모드 붕괴를 규제하는 기반이 되는 비율은 무엇이며, 이를 바탕으로 더 나은 학습 전략을 어떻게 도출할 수 있는가?

주요 결과

• 판별기는 실제 샘플의 특징을 다르게 만들기 위해 설계된 것이 아니라, 모드 붕괴를 방지하는 데 주요 역할을 하며 이로 인해 소음에 강건한 특징 표현을 만들어낸다.
• MNIST 실험에서 모든 공유 레이어를 제거한 경우, 분류기 기반 추출기가 판별기 기반 추출기보다 최대 2.69% 높은 정확도를 기록하여 더 뛰어난 작업 일치도를 보였다.
• CIFAR-10에서 두 개의 공유 레이어를 제거한 경우, 분류기와 판별기 간의 성능 격차는 6.62%로 증가하여, 도메인 이동 상황에서 분류기 기반 접근이 더 잘 일반화됨을 보여주었다.
• 작업이 유사할 경우 정확도에서 열등하더라도, 판별기 기반 추출기는 내재된 소음 강건성 덕분에 뛰어난 성능을 유지하며, 이는 분류기에서 얻을 수 없는 특성이다.
• 연구는 GAN 학습에서 모드 붕괴 방지를 위한 핵심 비율을 특정하였으며, 이는 GAN 학습 안정성 향상에 새로운 방향을 제시한다.
• 특징 표현의 영공간은 소음에 강건한 성분을 포착하며, 이는 판별기의 강점이 작업 전용 특징 학습이 아니라 작업에 무관한 변동성을 배제하는 데 있음을 시사한다.