[논문 리뷰] A Classification Supervised Auto-Encoder Based on Predefined Evenly-Distributed Class Centroids

Qiuyu Zhu, Ruixin Zhang|arXiv (Cornell University)|2019. 02. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 23

한 줄 요약

이 논문은 특징의 밀도 향상과 클래스 간 분리도 향상을 위해 사전 정의된 균일하게 분포된 클래스 중심점(PEDCC)을 사용하는 분류 supervision을 받는 오토인코더(CSAE)를 제안한다. 잠재 코드를 직접 분류 및 복원에 사용하고, 웨이블릿 기반 손실함수와 노이즈 주입을 통합함으로써, MNIST, Fashion-MNIST, EMNIST 데이터셋에서 뛰어난 이미지 품질과 분류 정확도를 달성한다.

ABSTRACT

Classic variational autoencoders are used to learn complex data distributions, that are built on standard function approximators. Especially, VAE has shown promise on a lot of complex task. In this paper, a new autoencoder model - classification supervised autoencoder (CSAE) based on predefined evenly-distributed class centroids (PEDCC) is proposed. Our method uses PEDCC of latent variables to train the network to ensure the maximization of inter-class distance and the minimization of inner-class distance. Instead of learning mean/variance of latent variables distribution and taking reparameterization of VAE, latent variables of CSAE are directly used to classify and as input of decoder. In addition, a new loss function is proposed to combine the loss function of classification. Based on the basic structure of the universal autoencoder, we realized the comprehensive optimal results of encoding, decoding, classification, and good model generalization performance at the same time. Theoretical advantages are reflected in experimental results.

연구 동기 및 목표

• 오토인코더 기반 표현 학습에서 특징의 밀도 향상과 클래스 간 분리도 향상.
• 변분 추론에 의존하지 않고 분류와 복원을 통합한 단일 오토인코더 프레임워크 구현.
• 웨이블릿 기반 손실 함수를 통해 고주파 수준의 에지 세부 정보를 보존함으로써 이미지 품질 향상.
• 학습 중 잠재 특징에 가우시안 노이즈를 주입하여 일반화 능력과 견고성 향상.
• 종료형 훈련을 이끄는 사전 정의된 균일하게 분포된 클래스 중심점의 효과성 입증.

제안 방법

• 잠재 공간에서 클래스 간 거리 최대화와 클래스 내 거리 최소화를 위해 사전 정의된 균일하게 분포된 클래스 중심점(PEDCC)을 도입.
• 재표현화 및 변분 추론을 생략하고, 인코더 출력을 직접 분류 및 복원에 사용하는 잠재 표현으로 활용.
• 분류를 위한 교차 엔트로피와 복원을 위한 평균 제곱오차(MSE)를 조합한 공동 손실 함수 도입.
• 입력 이미지와 복원된 이미지에 웨이블릿 변환을 적용하고, 웨이블릿 계수 간의 L2 차이를 최소화하여 고주파 에지 세부 정보 유지.
• 학습 중 잠재 특징에 가우시안 노이즈를 주입하여 견고성 및 일반화 능력 향상.
• 배치 정규화와 학습률 스케줄링을 적용한 Adam 옵timizer를 사용해 모델을 종단 간(end-to-end)으로 훈련.

실험 결과

연구 질문

• RQ1 사전 정의된 균일하게 분포된 클래스 중심점이 오토인코더 기반 표현 학습에서 클래스 간 분리도 향상과 클래스 내 밀도 향상에 기여하는가?
• RQ2 잠재 코드를 직접 분류 및 복원에 사용할 경우, 변분 오토인코더(VAE)보다 정확도와 이미지 품질 측면에서 우월한가?
• RQ3 웨이블릿 기반 손실 함수가 오토인코더 생성 샘플의 에지 정합성과 주관적 이미지 품질 향상에 기여하는가?
• RQ4 잠재 공간에 노이즈를 주입함으로써 모델의 일반화 능력과 견고성이 어느 정도 향상되는가?
• RQ5 제안된 CSAE는 MNIST, Fashion-MNIST, EMNIST와 같은 다양한 벤치마크 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• PEDCC를 활용한 구조화된 특징 학습 덕분에, MNIST, Fashion-MNIST, EMNIST에서 최신 기준(SOTA) 분류 정확도 달성.
• 웨이블릿 기반 손실 함수는 표준 MSE 손실 함수 대비 에지 선명도 향상과 주관적 이미지 품질 향상에 뚜렷한 기여.
• 잠재 공간에 노이즈 주입이 모델의 견고성 향상에 기여하여 분류 정확도 향상과 일반화 능력 향상 유도.
• 특히 고주파 영역에서 블러 감소 효과를 보이며 우수한 복원 성능 확보.
• PEDCC를 통한 분류 및 복원의 공동 최적화는 더 구분력 있고 밀도 높은 특징 표현 도출.
• 정량적 지표와 정성적 이미지 품질 측면에서 표준 VAE 및 CVAE 기반 모델 대비 우수한 성능 발휘.