[논문 리뷰] Multi-class Generative Adversarial Nets for Semi-supervised Image Classification

Saman Motamed, Farzad Khalvati|arXiv (Cornell University)|2021. 02. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 5

한 줄 요약

이 논문은 다중 클래스 GAN 프레임워크인 MCGAN을 제안하며, 모든 레이블된 클래스를 동시에 판별자에 훈련시켜 생성자가 시각적으로 유사한 클래스로 과도하게 일반화되는 것을 방지함으로써, 준지도 학습 이미지 분류를 향상시킨다. 훈련 중 비타겟 클래스를 '가짜'로 레이블링함으로써 MCGAN은 유사 클래스 이미지의 오류 생성을 줄이며, 특히 클래스 간 시각적 유사성이 높은 어려운 케이스에서 알려진 클래스와 알려지지 않은 클래스 모두에 대해 분류 정확도를 향상시킨다.

ABSTRACT

From generating never-before-seen images to domain adaptation, applications of Generative Adversarial Networks (GANs) spread wide in the domain of vision and graphics problems. With the remarkable ability of GANs in learning the distribution and generating images of a particular class, they can be used for semi-supervised classification tasks. However, the problem is that if two classes of images share similar characteristics, the GAN might learn to generalize and hinder the classification of the two classes. In this paper, we use various images from MNIST and Fashion-MNIST datasets to illustrate how similar images cause the GAN to generalize, leading to the poor classification of images. We propose a modification to the traditional training of GANs that allows for improved multi-class classification in similar classes of images in a semi-supervised learning framework.

연구 동기 및 목표

• 준지도 학습 이미지 분류 중 GAN이 시각적으로 유사한 클래스로 과도하게 일반화되는 문제를 해결하기 위해.
• 일부 클래스의 레이블된 데이터가 제한적이거나 존재하지 않을 경우 분류 성능을 향상시키기 위해.
• GAN 훈련 동역학을 수정하여 유사한 클래스 간 구별 능력을 유지하는 방법을 개발하기 위해.
• 모든 레이블된 클래스를 판별자 훈련에 포함함으로써 변동성 점수 기반 분류에서 오진 양성률을 감소시킬 수 있음을 입증하기 위해.
• 레이블된 데이터가 없는 알려지지 않은 클래스를 고려하지 않고도 확장 가능한 GAN 기반의 준지도 다중 클래스 이미지 분류 솔루션을 제공하기 위해.

제안 방법

• MCGAN은 표준 GAN 훈련 과정을 수정하여, 판별자를 모든 레이블된 클래스를 동시에 훈련시으며, 타겟 클래스에서 온 이미지에는 '진짜' 레이블을, 다른 모든 레이블된 클래스에서 온 이미지에는 '가짜' 레이블을 할당한다.
• 생성자는 타겟 클래스의 현실적인 이미지를 생성하도록 훈련되며, 다른 레이블된 클래스와 유사한 이미지를 생성하는 것을 방지하기 위해 페널티를 받는다.
• 추론 시, 변동성 점수 V(x)는 판별자가 진짜 이미지를 진짜로 분류하는 데 대한 신뢰도와 생성된 이미지를 가짜로 분류하는 데 대한 신뢰도를 사용하여 계산되며, 낮은 점수는 타겟 클래스와의 유사도가 높음을 나타낸다.
• 이 방법은 타겟 클래스의 진짜 이미지와 다른 모든 레이블된 클래스의 가짜 이미지를 구별하는 다중 클래스 판별자를 사용하여, 생성자가 유사한 클래스 간 공통 특징을 학습하는 것을 효과적으로 막는다.
• 이 접근법은 훈련 시 세 개의 클래스 중 두 개만 레이블이 주어지고 나머지 하나는 알려지지 않은 클래스로 간주하여 탐지할 수 있도록 준지도 설정에서 적용된다.
• 훈련 목표는 생성자가 다른 레이블된 클래스와 유사한 시각적 특징을 공유하는 이미지를 생성하지 않도록 강제한다.

실험 결과

연구 질문

• RQ1 단일 클래스에서 훈련된 GAN이, 유사한 시각적 특징을 가진 다른 클래스의 이미지에 대해 잘못된 낮은 변동성 점수를 생성할 수 있는가?
• RQ2 GAN 생성자의 과도한 일반화가 준지도 다중 클래스 이미지 분류 성능에 어떤 영향을 미치는가?
• RQ3 모든 레이블된 클래스를 판별자 훈련에 통합하면, 시각적으로 유사한 클래스 간 분류 정확도가 향상되는가?
• RQ4 다중 클래스 판별자 훈련이 준지도 환경에서 생성자가 유사한 클래스 간으로 일반화하는 경향을 줄이는가?
• RQ5 MCGAN은 표준 DCGAN에 비해 준지도 학습에서 알려진 클래스와 알려지지 않은 클래스 모두의 분류 성능을 어느 정도 향상시키는가?

주요 결과

• MCGAN은 MNIST (3,8-9)에서 알려지지 않은 클래스 탐지 AUC를 0.67에서 0.69로, F-MNIST (9,4-8)에서 0.87에서 0.90으로 향상시켜 알려지지 않은 클래스 탐지 능력 향상을 보였다.
• 알려진 클래스 분류의 경우, MCGAN은 테스트된 모든 쌍에서 DCGAN을 능가했으며, MNIST (3,8-9)에서 AUC는 0.57에서 0.64로, F-MNIST (9,4-8)에서 0.79에서 0.84로 상승했다.
• (Coat, Shirt - Pullover) 쌍에서 MCGAN은 알려지지 않은 클래스 탐지 AUC 0.79를 기록했고, DCGAN은 0.73이었으며, 일관된 향상이 있었다.
• (Coat, Pullover - Dress) 쌍에서 MCGAN은 알려지지 않은 클래스 탐지 AUC 0.81을 달성했고, DCGAN은 0.66이었으며, 도전적인 케이스에서 뚜렷한 향상이 있었다.
• 다른 개선에도 불구하고, MCGAN의 (Coat, Shirt - Pullover) 및 (3,8-9) 쌍에서의 성능은 여전히 AUC 0.80 이하에 머물러 있어, 클래스 간 유사성이 매우 높을 경우의 한계를 보여주었다.
• 이 방법은 DCGAN이 유사한 클래스를 유사하게 생성하는 경향(예: MNIST의 '8'에 대해 훈련된 GAN이 '3'과 유사한 이미지를 생성함)을 명시적으로 방지하기 위해 다중 클래스 판별자 레이블링을 통해 이를 페널티 처리함으로써 감소시켰다.