[논문 리뷰] Generating Multi-Categorical Samples with Generative Adversarial Networks

Ramiro Daniel Camino, Christian Hammerschmidt외 1명|arXiv (Cornell University)|2018. 07. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 43

한 줄 요약

이 연구는 다중 범주 변수로 구성된 샘플 생성을 위해 다중 출력 Gumbel-Softmax 또는 softmax 계층을 사용하여 GAN을 적용하고, 여러 아키텍처를 비교하며, 다양한 데이터셋에서 기존 기준선보다 성능이 향상됨을 보인다.

ABSTRACT

We propose a method to train generative adversarial networks on mutivariate feature vectors representing multiple categorical values. In contrast to the continuous domain, where GAN-based methods have delivered considerable results, GANs struggle to perform equally well on discrete data. We propose and compare several architectures based on multiple (Gumbel) softmax output layers taking into account the structure of the data. We evaluate the performance of our architecture on datasets with different sparsity, number of features, ranges of categorical values, and dependencies among the features. Our proposed architecture and method outperforms existing models.

연구 동기 및 목표

• GAN을 사용하여 다중 범주 변수로 구성된 샘플 생성의 도전과제에 동기 부여 및 해결책 제시
• 다중 범주 출력에 맞춘 아키텍처와 학습 손실 제안
• 다중 범주 합성 데이터의 충실도를 평가하기 위한 평가 지표 확장
• 다양한 희소성, 차원성 및 의존성을 가진 데이터셋에서 여섯 모델의 실증적 비교

제안 방법

• 다중 범주 데이터를 N개의 범주 변수에 걸친 원-핫 인코딩의 연결로 표현
• 생성기/디코더를 수정하여 각 범주 변수에 대해 Gumbel-Softmax 또는 소프트맥스 활성화를 사용한 개별 출력 생성
• 다중 범주 설정에 GAN 변형(GAN, WGAN-GP, ARAE, MedGAN)을 적용하고 해당 손실 형식으로 적응
• 학습 중 다중 범주 구조를 고려한 재구성/보상 목표를 도입(범주별 교차 엔트로피)
• 생성된 데이터와 실제 데이터 간의 주변 분포 및 예측 의존 정보를 비교하는 확장 지표를 사용한 평가

실험 결과

연구 질문

• RQ1 GAN을 어떻게 다중 범주 변수 샘플 생성에 맞게 학습 중 미분가능성을 잃지 않으면서 적용할 수 있는가?
• RQ2 다중 범주 GAN 아키텍처가 희소성, 차원성, 범주 기수에 따라 다른 데이터셋에서 적응된 기본모형보다 우수한가?
• RQ3 합성 데이터의 주변 충실도와 다중 특성 간 의존성을 효과적으로 포착하는 평가 지표는 무엇인가?

주요 결과

모델	데이터셋	MSE_p	MSE_f	MSE_a
ARAE	FIXED 2	0.00031 ± 0.00004	0.00001 ± 0.00001	0.00059 ± 0.00022
MedGAN	FIXED 2	0.00036 ± 0.00031	0.00005 ± 0.00003	0.00056 ± 0.00033
MC-ARAE	FIXED 2	0.00046 ± 0.00028	0.00001 ± 0.00000	0.00058 ± 0.00024
MC-MedGAN	FIXED 2	0.00013 ± 0.00006	0.00000 ± 0.00000	0.00032 ± 0.00017
MC-GumbelGAN	FIXED 2	0.00337 ± 0.00188	0.00014 ± 0.00012	0.00050 ± 0.00012
MC-WGAN-GP	FIXED 2	0.00030 ± 0.00007	0.00001 ± 0.00000	0.00068 ± 0.00012
ARAE	FIXED 10	0.00398 ± 0.00002	0.00274 ± 0.00021	0.02156 ± 0.00175
MedGAN	FIXED 10	0.00720 ± 0.00825	0.00463 ± 0.00404	0.01961 ± 0.00214
MC-ARAE	FIXED 10	0.00266 ± 0.00009	0.00036 ± 0.00018	0.01086 ± 0.00159
MC-MedGAN	FIXED 10	0.00022 ± 0.00003	0.00167 ± 0.00010	0.00062 ± 0.00044
MC-GumbelGAN	FIXED 10	0.00056 ± 0.00006	0.00110 ± 0.00013	0.00055 ± 0.00035
MC-WGAN-GP	FIXED 10	0.00026 ± 0.00001	0.00123 ± 0.00005	0.00048 ± 0.00010
ARAE	MIX SMALL	0.00261 ± 0.00020	0.01303 ± 0.00146	0.01560 ± 0.00039
MedGAN	MIX SMALL	0.00083 ± 0.00039	0.01889 ± 0.00258	0.02070 ± 0.00170
MC-ARAE	MIX SMALL	0.00195 ± 0.00040	0.00081 ± 0.00018	0.00759 ± 0.00100
MC-MedGAN	MIX SMALL	0.00029 ± 0.00003	0.00133 ± 0.00012	0.00080 ± 0.00018
MC-GumbelGAN	MIX SMALL	0.00078 ± 0.00027	0.00104 ± 0.00013	0.00047 ± 0.00008
MC-WGAN-GP	MIX SMALL	0.00048 ± 0.00010	0.00140 ± 0.00014	0.00037 ± 0.00016
ARAE	MIX BIG	0.04209 ± 0.00362	0.02075 ± 0.01144	0.00519 ± 0.00087
MedGAN	MIX BIG	0.01023 ± 0.00263	0.00211 ± 0.00033	0.00708 ± 0.00162
MC-ARAE	MIX BIG	0.00800 ± 0.00019	0.00249 ± 0.00035	0.00472 ± 0.00092
MC-MedGAN	MIX BIG	0.00142 ± 0.00015	0.00491 ± 0.00055	0.01309 ± 0.00106
MC-GumbelGAN	MIX BIG	0.00312 ± 0.00032	0.00194 ± 0.00017	0.00430 ± 0.00021
MC-WGAN-GP	MIX BIG	0.00144 ± 0.00006	0.00536 ± 0.00030	0.01664 ± 0.00177
ARAE	CENSUS	0.00165 ± 0.00082	0.00206 ± 0.00030	0.00668 ± 0.00175
MedGAN	CENSUS	0.00871 ± 0.01078	0.00709 ± 0.00889	0.01723 ± 0.02177
MC-ARAE	CENSUS	0.00333 ± 0.00020	0.00129 ± 0.00019	0.00360 ± 0.00095
MC-MedGAN	CENSUS	0.00012 ± 0.00004	0.00024 ± 0.00003	0.00013 ± 0.00003
MC-GumbelGAN	CENSUS	0.01866 ± 0.00040	0.00981 ± 0.00034	0.03930 ± 0.00469
MC-WGAN-GP	CENSUS	0.00019 ± 0.00004	0.00017 ± 0.00002	0.00008 ± 0.00002

• 다중 범주 GAN 변종은 일반적으로 데이터셋 간에 기본 ARAE와 MedGAN 기준선보다 우수한 성능을 보인다
• 성능 향상은 데이터셋과 구성에 따라 다르며 모든 설정에서 단일 모델이 지배적이지 않다
• Gumbel-Softmax 및 WGAN-GP 기반 생성기와 이들의 다중 범주 디코더가 여러 구성에서 MSE 기반 지표를 개선한다
• 센서스 유사 데이터셋에서는 여러 다중 범주 모델의 강한 개선이 나타나며 고차원 및 다양한 범주 데이터에 대한 효과를 시사한다
• 실험 전반에서 차원수와 희소성이 증가할수록 의존성 포착의 어려움이 증가하며 모델 선택에 영향을 준다